[論文レビュー] Variational Knowledge Graph Reasoning

Wenhu Chen, Wenhan Xiong+2 more|arXiv (Cornell University)|Mar 17, 2018

Advanced Graph Neural Networks参考文献 22被引用数 20

ひとこと要約

本稿では、経路探索と経路推論を潜在変数としての経路をモデル化することで統合する、変分推論フレームワークDivaを提案する。変分推論を通じて事後分布近似器、事前分布（経路探索者）、尤度（経路推論者）を共同最適化することで、Divaはリンク予測タスクで最先端の性能を達成するとともに、ノイズや複雑な推論シナリオに対する耐性も向上する。

ABSTRACT

Inferring missing links in knowledge graphs (KG) has attracted a lot of attention from the research community. In this paper, we tackle a practical query answering task involving predicting the relation of a given entity pair. We frame this prediction problem as an inference problem in a probabilistic graphical model and aim at resolving it from a variational inference perspective. In order to model the relation between the query entity pair, we assume that there exists an underlying latent variable (paths connecting two nodes) in the KG, which carries the equivalent semantics of their relations. However, due to the intractability of connections in large KGs, we propose to use variation inference to maximize the evidence lower bound. More specifically, our framework ( extsc{Diva}) is composed of three modules, i.e. a posterior approximator, a prior (path finder), and a likelihood (path reasoner). By using variational inference, we are able to incorporate them closely into a unified architecture and jointly optimize them to perform KG reasoning. With active interactions among these sub-modules, extsc{Diva} is better at handling noise and coping with more complex reasoning scenarios. In order to evaluate our method, we conduct the experiment of the link prediction task on multiple datasets and achieve state-of-the-art performances on both datasets.

研究の動機と目的

• 既存の知識グラフ推論手法が経路探索と経路推論を別々で処理し、相互作用を持たないという限界を解消すること。
• 経路探索モジュールと経路推論モジュールの間で能動的な相互作用を可能にすることで、ノイズや対策的サンプルに対する耐性を向上させること。
• 経路を潜在変数としてモデル化し、変分推論を用いて共同最適化を行う統一された確率的フレームワークを開発すること。
• 一般化性能と未観測の推論シナリオでの性能向上を図るため、トレーニング中にネガティブサンプルを明示的に組み込むこと。
• 大規模知識グラフに対してもスケーラブルでありながら、マルチホップリンク予測において高い正確性を維持すること。

提案手法

• フレームワークは、エンティティペア間の関係を確率的グラフィカルモデルにおける潜在変数（経路）としてモデル化し、経路探索モジュールを事前分布として機能させる。
• 経路推論モジュールは尤度分布として機能し、学習された表現に基づいて経路を関係クラスに分類する。
• 真の潜在経路上の事後分布を推定するための事後分布近似器を導入し、変分推論を用いたエンドツーエンド学習を可能にする。
• 尤度下界（ELBO）を最大化することで、ニューラルネットワークベースのコンponentsを用いて、事前分布、尤度、事後分布近似器を共同最適化する。
• 経路探索者は固定ビームサイズを用いたビームサーチにより複数の候補経路を探索する一方、経路推論者は学習された表現を用いて各経路をスコア化する。
• トレーニング中にネガティブサンプルを明示的に組み込むことで、耐性向上と過学習の防止を図る。

実験結果

リサーチクエスチョン

• RQ1 経路探索と経路推論を統一されたフレームワーク内で共同最適化することで、推論性能をどのように向上させられるか？
• RQ2 変分推論フレームワークにおいて経路を潜在変数としてモデル化することで、ノイズや不完全な知識グラフに対する耐性が向上するか？
• RQ3 トレーニング中にネガティブサンプルを組み込むことで、マルチホップ知識グラフ推論における一般化性能はどの程度向上するか？
• RQ4 経路探索モジュールと経路推論モジュールの相互作用が、複雑な推論タスクにおける性能にどのように影響を与えるか？
• RQ5 経路探索プロセスにおける経路多様性とノイズのバランスを最適化するための最適なビームサイズは何か？

主な発見

• Divaは、リンク予測のための2つの代表的知識グラフベンチマークデータセットで最先端の性能を達成し、先行手法を上回る。
• 経路探索モジュールと経路推論モジュール間の能動的相互作用のおかげで、ノイズや対策的サンプルに対する耐性が向上している。
• アブレーションスタディにおけるMAPとエラーレート曲線から、ビームサイズ5が経路多様性とノイズのバランスにおいて最適な妥協点を提供することが示された。
• エラー解析から、大多数の失敗要因は知識グラフのノイズ（例：欠落または重複するエンティティ）に起因している一方、'誤った推論'エラーは主に経路推論者に起因し、より良いアルゴリズムで改善可能であることが判明した。
• 共同学習とネガティブサンプルの活用により、Divaは大規模知識グラフにスケーリング可能であり、未観測の推論シナリオにも良好に一般化している。
• 表5の失敗事例は、'重複するエンティティ'および'欠落するエンティティ'の問題が主にKGの品質に起因することを示しており、'誤った推論'エラーはモデル固有であり、改善が可能である。