[論文レビュー] LinkNBed: Multi-Graph Representation Learning with Entity Linkage

Rakshit Trivedi, Bunyamin Sisman+4 more|arXiv (Cornell University)|Jul 23, 2018

Advanced Graph Neural Networks参考文献 39被引用数 10

ひとこと要約

LinkNBed は、エンティティリンクの統合をキーコンポーネントとして活用することで、複数の不完全な知識グラフ全体にわたってエンティティおよび関係の表現を共同で学習するディープリレーショナル学習フレームワークである。新たなマルチタスク損失関数と効率的な学習手順を導入し、Freebase および IMDB データセットにおけるリンク予測およびエンティティリンクタスクで最先端の性能を達成した。

ABSTRACT

Knowledge graphs have emerged as an important model for studying complex multi-relational data. This has given rise to the construction of numerous large scale but incomplete knowledge graphs encoding information extracted from various resources. An effective and scalable approach to jointly learn over multiple graphs and eventually construct a unified graph is a crucial next step for the success of knowledge-based inference for many downstream applications. To this end, we propose LinkNBed, a deep relational learning framework that learns entity and relationship representations across multiple graphs. We identify entity linkage across graphs as a vital component to achieve our goal. We design a novel objective that leverage entity linkage and build an efficient multi-task training procedure. Experiments on link prediction and entity linkage demonstrate substantial improvements over the state-of-the-art relational learning approaches.

研究の動機と目的

• 複数の不完全で異種の知識グラフにわたる統一された表現を学ぶ課題に対処すること。
• 表現学習プロセスのコアコンponentとしてエンティティリンクを統合することで、マルチグラフ関係学習を改善すること。
• 表現学習とエンティティリンクを共同で最適化するスケーラブルでグラフに依存しないフレームワークを設計すること。
• ラベル付きリンクインスタンスのスパarsity を効果的に処理する、頑健なマルチタスク損失関数を用いること。
• 大規模なマルチ関係グラフ上で線形時間のトレーニングを可能にすること。

提案手法

• 共有埋め込み空間を用いてエンティティ表現学習とエンティティリンクを共同でトレーニングする、新しいマルチタスク学習フレームワークを提案する。
• 構造的および意味的特徴から、複数のグラフにわたる文脈表現を学ぶための、グラフに依存しないインダクティブバイアスを設計する。
• スパースな正例リンクインスタンスを効果的に処理できる、新しいマルチタスク損失関数を導入する。これにより、ラベルなしまたは負例のみのデータでもトレーニングが可能になる。
• 翻訳演算子（例：TransE スタイル）を用いて関係をモデル化し、リンク予測のスコアを最適化する。
• 三元組の数に対して線形時間計算量を維持する共同最適化手順を採用し、スケーラビリティを実現する。
• 同じ現実世界のエンティティの埋め込みを一致させるために、エンティティリンクを教師信号として活用し、一般化性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 複数の知識グラフにわたるエンティティ表現とエンティティリンクの共同学習は、リンク予測およびエンティティ解決の性能を向上させることができるか？
• RQ2 マルチタスク学習フレームワークは、マルチグラフ設定における正例リンクインスタンスのスパarsity を効果的に処理できるか？
• RQ3 グラフに依存しないインダクティブフレームワークは、異種のマルチ関係グラフから意味のある表現を学習できるか、同時に重複するエンティティ間の整合性を保てるか？
• RQ4 エンティティリンクを教師信号として組み込むことで、学習された埋め込みの質にどのような影響を与えるか？
• RQ5 提案手法は、単一グラフベースラインと比較して、トレーニング時間および性能の面でどのようにスケーリングするか？

主な発見

• LinkNBed は、整理された Freebase および IMDB データセットにおいて、リンク予測およびエンティティリンクタスクで最先端の性能を達成した。
• 単一グラフ関係学習モデルでさえ、マルチグラフ設定でファインチューニングされた場合でさえ、本手法は顕著に優れた性能を示した。
• マルチタスク損失関数により、ラベル付きリンクインスタンスが極めて少ない状況、たとえば負例またはラベルなしデータのみの状況でも、頑健な学習が可能になった。
• フレームワークは線形時間トレーニング複雑度を達成しており、大規模なマルチグラフ設定へのスケーラビリティを実現した。
• エンティティリンクを共同でトレーニングすることで、特に重複するエンティティにおいて、より整合性があり意味的に整合性のとれた埋め込みが得られた。
• フレームワークのインダクティブ性により、再トレーニングなしに未学習のグラフに対しても一般化が可能になった。