[論文レビュー] Knowledge Representation via Joint Learning of Sequential Text and Knowledge Graphs

Jiawei Wu, Ruobing Xie+2 more|arXiv (Cornell University)|Sep 22, 2016

Topic Modeling参考文献 24被引用数 14

ひとこと要約

本稿では、RNN/LSTMエンコーダーとアテンションメカニズムを用いて、順序付きテキストと知識グラフを統合する共同モデルである順序付きテキスト埋め込み知識表現学習（STKRL）を提案する。このモデルは、情報を含む文の選択と文脈的意味の符号化を効果的に行い、エンティティ表現を向上させる。三重項分類およびリンク予測において、ベースラインを上回る性能を発揮する。

ABSTRACT

Textual information is considered as significant supplement to knowledge representation learning (KRL). There are two main challenges for constructing knowledge representations from plain texts: (1) How to take full advantages of sequential contexts of entities in plain texts for KRL. (2) How to dynamically select those informative sentences of the corresponding entities for KRL. In this paper, we propose the Sequential Text-embodied Knowledge Representation Learning to build knowledge representations from multiple sentences. Given each reference sentence of an entity, we first utilize recurrent neural network with pooling or long short-term memory network to encode the semantic information of the sentence with respect to the entity. Then we further design an attention model to measure the informativeness of each sentence, and build text-based representations of entities. We evaluate our method on two tasks, including triple classification and link prediction. Experimental results demonstrate that our method outperforms other baselines on both tasks, which indicates that our method is capable of selecting informative sentences and encoding the textual information well into knowledge representations.

研究の動機と目的

• 大規模知識グラフにおけるデータスパarsityと計算非効率性を解決するため、エンティティ表現にテキスト情報を統合すること。
• 先行研究におけるbag-of-wordsモデルの制限を克服し、エンティティ記述における順序的文脈と語順を捉えること。
• 各エンティティに対して、情報を含む参照文を動的に同定・優先順位付けすることで、ノイズや関係のないコンテンツを除外すること。
• アテンション強化のシーケンス対応符号化を用いて、テキストの意味を知識表現学習に統合すること。
• テキストと知識グラフの共同学習により、リンク予測や三重項分類などの下流タスクの性能を向上させること。

提案手法

• 各エンティティの参照文を、順序的文脈を保持するRNNまたはLSTMネットワークでエンコードし、文レベルの表現を生成する。
• アテンションメカニズムを適用して各文の情報量を重み付けし、エンティティ表現に最も関連性の高い文を動的に選択可能にする。
• 文レベルの表現をアテンションスコアを用いて統合し、各エンティティの統合的で要約ベースのテキスト表現を形成する。
• 翻訳ベースモデルのマージンベーススコア関数を用いて、テキストベースのエンティティ表現と標準的な知識グラフ埋め込みを統合する。
• 知識グラフ補完とテキストベース表現学習の両方を最適化する共同目的関数を用いて、エンドツーエンドでモデルを訓練する。
• 複数の参照文を1エンティティに割り当てるマルチインスタンス学習とアテンションを組み合わせ、モデルの頑健性と情報量を向上させる。

実験結果

リサーチクエスチョン

• RQ1 複数の文から得られる順序付きテキスト表現は、bag-of-wordsモデルと比較して、知識グラフ埋め込みの質を向上させることができるか？
• RQ2 アテンションメカニズムは、エンティティ表現に最も有用な文を効果的に同定・優先順位付けできるか？
• RQ3 テキストと知識グラフの共同学習は、リンク予測および三重項分類タスクの性能を向上させるか？
• RQ4 異なる文エンコーダー（RNN対LSTM）とアテンション統合の組み合わせが、モデル性能に与える影響は何か？
• RQ5 アテンションメカニズムは、定義抽出の代理として使用可能か？すなわち、エンティティの定義として機能する文を特定できるか？

主な発見

• STKRL（LSTM+ATT）は、フィルタリング済みベンチマークでリンク予測において最高性能を示し、平均ランクが182、Hits@10が81.2を達成した。
• 本モデルは、Wangの手法（生データでHits@10が50.9%、フィルタリング後で78.2%）およびTransE（生データでHits@10が46.5%）を著しく上回り、順序モデリングとアテンションの有効性を示した。
• STKRL（RNN+P+ATT）は、フィルタリング後で52.2%のHits@10を達成し、プーリングとアテンションを併用することで表現品質が向上したことを示した。
• アテンションメカニズムは、定義に類似した文を適切に上位にランク付けしており、上位にランクされた文の61%が手動でエンティティ定義として確認された。
• N対N関係において改善が顕著に見られ、テキスト的文脈が複雑で曖昧な関係をモデル化する上で不可欠であることが示された。
• 事例研究により、アテンションメカニズムが関係のない文を除外し、意味的に豊かで情報量の多いコンテンツをエンティティ表現に優先的に統合していることが確認された。