[論文レビュー] A Neural Knowledge Language Model
NKLM は知識グラフを RNN 言語モデルと統合し、事実記述からコピーすることで知識含有語を生成しつつ、語が事実に基づくものかを予測します。
Current language models have a significant limitation in the ability to encode and decode factual knowledge. This is mainly because they acquire such knowledge from statistical co-occurrences although most of the knowledge words are rarely observed. In this paper, we propose a Neural Knowledge Language Model (NKLM) which combines symbolic knowledge provided by the knowledge graph with the RNN language model. By predicting whether the word to generate has an underlying fact or not, the model can generate such knowledge-related words by copying from the description of the predicted fact. In experiments, we show that the NKLM significantly improves the performance while generating a much smaller number of unknown words.
研究の動機と目的
- 従来の言語モデルが事実知識を符号化・復号化する際の制約を動機づけ、対処する。
- 知識グラフからの象徴的知識をニューラル言語モデリングと融合させるニューラルモデルを導入する。
- 事実描述からコピーして知識関連語を生成しつつ、標準語彙生成を維持できるようにする。
- 知識グラフを活用することで未知語を減らし、知識豊富なテキストのパープレキシティ関連指標を改善することを示す。
提案手法
- 各時刻で次の語が背後に事実を有するかを予測する NKLM を提案する。
- 事実を知識メモリ内の埋め込みとして表現し、知識語を選択する際に記述对象語からコピーする。
- 単語と事実情報を統合するために LSTM を用い、事実キー機構を介してメモリ行列 F から事実埋め込みを抽出する。
- 語彙生成と知識語のコピーのどちらを選ぶかを決定する二値のソース決定 z_t を計算する。コピー時には知識記述内の位置を選択する。
- トピックを記述し、対応する事実と語を整列させる拡張観測に対して教師あり学習で訓練する。
- Freebase/Wikipedia に対して整列された WikiFacts データセットを活用し、知識ベース言語モデリングを評価する。
実験結果
リサーチクエスチョン
- RQ1知識グラフを LSTM ベースの言語モデルに統合することで、事実語および固有表現の語の生成を改善できるか？
- RQ2知識語のコピー機構が未知語の使用を減らし、知識豊富なテキストでのパープレキシティ指標を改善するか？
- RQ3学習を再実行せずに知識が更新または修正された場合、NKLM の性能はどうなるか？
主な発見
- NKLM は WikiFacts-FilmActor データセットで、パープレキシティと未知語指標の両方で標準的な RNNLM を上回る。
- 知識語からのコピーに基づく生成は、UNK トークンの数を著しく減少させる。
- 事実情報の含有は、コピー機構を無効にしても言語モデリングを改善するが、完全な NKLM が最大の改善をもたらす。
- 知識グラフのエンティティに対する TransE ベースの埋め込みはモデル性能に寄与する。ランダムベクターは結果を劣化させ、構造化された事実の重要性を示している。
- NKLM は知識記憶埋め込みを更新することで、再訓練なしに知識の変化に即座に適応できる。）
より良い研究を、今すぐ始めましょう
論文設計から論文執筆まで、研究時間を劇的に削減しましょう。
クレジットカード登録不要
このレビューはAIが作成し、人間の編集者が確認しました。