[論文レビュー] Retrofitting Distributional Embeddings to Knowledge Graphs with Functional Relations

Benjamin J. Lengerich, Andrew L. Maas+1 more|arXiv (Cornell University)|Aug 1, 2018

Advanced Graph Neural Networks参考文献 18被引用数 10

ひとこと要約

この論文では、カスタマイズ可能なペナルティ関数を通じてペairワイズな関係を明示的にモデル化することにより、知識グラフのリファーミングを一般化する新しいフレームワーク、Functional Retrofittingを紹介する。この手法は、多様なエンティティおよび関係タイプの統合を可能にし、複雑な知識グラフにおいて既存手法を上回る性能を発揮するとともに、単純な知識グラフでも性能を維持する。さらに、大規模な医療知識グラフにおいて、新しいドラッグ–疾患治療ペアの予測に有効であることが示された。

ABSTRACT

Knowledge graphs are a versatile framework to encode richly structured data relationships, but it can be challenging to combine these graphs with unstructured data. Methods for retrofitting pre-trained entity representations to the structure of a knowledge graph typically assume that entities are embedded in a connected space and that relations imply similarity. However, useful knowledge graphs often contain diverse entities and relations (with potentially disjoint underlying corpora) which do not accord with these assumptions. To overcome these limitations, we present Functional Retrofitting, a framework that generalizes current retrofitting methods by explicitly modeling pairwise relations. Our framework can directly incorporate a variety of pairwise penalty functions previously developed for knowledge graph completion. Further, it allows users to encode, learn, and extract information about relation semantics. We present both linear and neural instantiations of the framework. Functional Retrofitting significantly outperforms existing retrofitting methods on complex knowledge graphs and loses no accuracy on simpler graphs (in which relations do imply similarity). Finally, we demonstrate the utility of the framework by predicting new drug–disease treatment pairs in a large, complex health knowledge graph.

研究の動機と目的

• 多様な知識グラフにおいて、エンティティ空間が連結であるか、関係の類似性を仮定する従来のリファーミング手法の制限を克服すること。
• 知識グラフ補完に用いられるさまざまなペアワイズペナルティ関数を統合的に統合可能なリファーミングフレームワークを実現すること。
• ユーザーがリファーミングプロセスそのものから関係の意味を直接学習・抽出できることを可能にすること。
• 柔軟なデプロイメントを可能にするために、線形およびニューラルの両方のインスタンス化を提供すること。
• 従来手法が失敗する複雑な知識グラフにおいてフレームワークを評価することと同時に、単純なグラフでも性能を維持すること。

提案手法

• Functional Retrofittingは、関係を暗黙の類似性に依存するのではなく、明示的なペアワイズ制約としてモデル化することで、標準的なリファーミングを一般化する。
• 微分可能な目的関数を導入し、カスタマイズ可能なペナルティ関数を用いて、エンティティ埋め込みと知識グラフの関係の間で構造的整合性を強制する。
• フレームワークは線形およびニューラルアーキテクチャの両方をサポートしており、柔軟な最適化と表現学習を可能にする。
• ペナルティ関数は、既存の知識グラフ補完手法から導出されており、既存の技術を直接再利用可能である。
• この手法は、事前学習済みの分布的埋め込みと、知識グラフからの構造的制約を両方満たすエンティティ表現を学習する。
• 関係の意味は、特にニューラルインスタンシエーションにおいて、リファーミングプロセスの学習されたパラメータを通じてエンコードされ、抽出される。

実験結果

リサーチクエスチョン

• RQ1 関係が類似性を示さない、多様で分離した知識グラフに対応できるリファーミングフレームワークを設計できるか？
• RQ2 既存の知識グラフ補完用ペナルティ関数を、リファーミングフレームワークに効果的に統合できるか？
• RQ3 Functional Retrofittingは、従来手法と比較して、複雑で多様な知識グラフにおいてどの程度性能を向上させるか？
• RQ4 関係が類似性を示す単純なグラフにおいても、フレームワークは正確性を維持できるか？
• RQ5 実世界の医療知識グラフにおいて、ドラッグ–疾患治療ペアのような意味のある新しい関係を同定できるか？

主な発見

• Functional Retrofittingは、複雑な知識グラフにおいて、従来のリファーミング手法を顕著に上回り、多様な設定における優れた一般化性能を示した。
• 従来の類似性ベースのリファーミングが有効な単純なグラフにおいても、フレームワークは性能を維持しており、精度の低下が見られなかった。
• Functional Retrofittingのニューラルインスタンシエーションは、知識グラフ構造から関係の意味を効果的に学習・抽出できる。
• フレームワークは、大規模で複雑な医療知識グラフにおいて、新たなドラッグ–疾患治療ペアを効果的に予測した。これにより、実用的価値が裏付けられた。
• 多様なペアワイズペナルティ関数の使用により、フレームワークの耐障害性と適応性が、さまざまな知識グラフタイプにわたり向上した。
• Functional Retrofittingは、埋め込み精錬のための線形およびニューラルモデルを両方サポートする統一的かつ拡張可能なフレームワークを提供する。