[論文レビュー] Joint Representation Learning of Text and Knowledge for Knowledge Graph Completion

Xu Han, Zhiyuan Liu+1 more|arXiv (Cornell University)|Nov 13, 2016

Topic Modeling参考文献 24被引用数 38

ひとこと要約

本論文は、CNNを用いたテキスト符号化と知識グラフのためのTransEを組み合わせることで、語彙、エンティティ、関係を共有の連続的ベクトル空間に埋め込む共同表現学習フレームワークを提案する。本モデルは、構造化された知識と非構造化されたテキストの両方を活用することで、エンティティ予測、関係予測、関係分類の性能を著しく向上させ、すべてのタスクでベースラインを上回る。

ABSTRACT

Joint representation learning of text and knowledge within a unified semantic space enables us to perform knowledge graph completion more accurately. In this work, we propose a novel framework to embed words, entities and relations into the same continuous vector space. In this model, both entity and relation embeddings are learned by taking knowledge graph and plain text into consideration. In experiments, we evaluate the joint learning model on three tasks including entity prediction, relation prediction and relation classification from text. The experiment results show that our model can significantly and consistently improve the performance on the three tasks as compared with other baselines.

研究の動機と目的

• 既存手法が表現学習において知識グラフと通常のテキストを別々に扱うという限界を解消すること。
• 構造化された知識と非構造化されたテキストの両方から共同で学習することで、知識グラフの完成度を向上させること。
• 語彙、エンティティ、関係を統合的に表現する統一された埋め込み空間を構築し、より良い意味的整合性を実現すること。
• 複雑な言語解析に依存することを減らし、深層ニューラルネットワークを用いて文の意味を符号化すること。
• トレーニング中に知識グラフの信号を活用することで、テキストからの関係分類を強化すること。

提案手法

• 本モデルは、深層ニューラルネットワーク（CNN）を用いたテキスト符号化により、エンティティ、関係、語彙を共有の連続的ベクトル空間に共同で埋め込む。
• 知識グラフ埋め込みのベースモデルとしてTransEを採用し、関係を頭部エンティティと末尾エンティティ間の平行移動としてモデル化する。
• 文の局所的な文法的・意味的パターンを捉えるために、畳み込みニューラルネットワーク（CNN）を用いてテキスト的関係を符号化する。
• KGの三項対とテキスト的関係インスタンスの両方を最適化する統一された目的関数を通じて、語彙表現、エンティティ埋め込み、関係ベクトルの整合性を図る。
• 共同学習プロセスは、知識グラフと通常のテキストからの監視信号を統合し、相互に表現を強化する。
• 知識グラフの完成度と関係分類の目的関数を組み合わせた損失関数を用いて、エンドツーエンドでモデルを訓練する。

実験結果

リサーチクエスチョン

• RQ1 テキストと知識グラフの共同表現学習は、知識グラフにおけるエンティティ予測性能を向上させることができるか？
• RQ2 エンティティおよび関係埋め込みを用いる際、通常のテキストの統合により関係予測の正確性が向上するか？
• RQ3 分離されたテキスト専用モデルと比較して、共同学習は非構造化テキストからの関係分類でより良い性能を示すか？
• RQ4 知識グラフのみまたはテキストのみを使用するベースラインと比較して、本モデルはどのように性能を発揮するか？
• RQ5 知識とテキストの両方を組み込むことで、未知のエンティティに対するノイズ低減と一般化性能の向上はどの程度達成されるか？

主な発見

• 関係予測において、本モデルは全関係タイプで91.6%の正確度を達成し、TransEの87.2%を著しく上回った。
• エンティティ予測において、本モデルはTransEを上回る性能を示し、全関係クラスで一貫した向上を示した。
• テキストからの関係分類において、本モデルのJoint-CNNは、あらゆる精度-再現率範囲で単体のCNNモデルを上回った。
• 特に「1対1」や「1対N」のようなレアな関係タイプにおいて顕著な改善が見られ、一般化性能の向上が示された。
• 共同学習フレームワークは表現品質を向上させ、関係抽出や知識グラフの完成度といった下流タスクでの性能向上を可能にした。
• 結果から、深層ニューラルネットワークを介して知識グラフと通常のテキストを統合することで、より情報量が多く、より強固な埋め込みが得られることを示した。