[論文レビュー] Traversing Knowledge Graphs in Vector Space

Kelvin Guu, J. J. Miller+1 more|arXiv (Cornell University)|Jun 3, 2015

Topic Modeling参考文献 24被引用数 98

ひとこと要約

本論文は、欠落した事実がある知識ベースの完成においても正確なパスクエリの回答を可能にする、合成的トレーニングアプローチを提案する。学習済み埋め込みを再帰的に適用し、新しい合成的目的を導入することで、累積誤差を低減し、パスクエリ（最大2倍の精度向上）および標準的な知識ベース完成（最大43％の誤差低減）の両方で性能を向上させる。

ABSTRACT

Path queries on a knowledge graph can be used to answer compositional questions such as "What languages are spoken by people living in Lisbon?". However, knowledge graphs often have missing facts (edges) which disrupts path queries. Recent models for knowledge base completion impute missing facts by embedding knowledge graphs in vector spaces. We show that these models can be recursively applied to answer path queries, but that they suffer from cascading errors. This motivates a new "compositional" training objective, which dramatically improves all models' ability to answer path queries, in some cases more than doubling accuracy. On a standard knowledge base completion task, we also demonstrate that compositional training acts as a novel form of structural regularization, reliably improving performance across all base models (reducing errors by up to 43%) and achieving new state-of-the-art results.

研究の動機と目的

• 欠落した事実によりトラバーサルが妨げられる不完全な知識グラフ上で、合成的パスクエリを回答する課題に対処すること。
• 長距離パスにおいて複数の関係埋め込みを合成する際、従来のベクタースペースモデルが生じる累積誤差を克服すること。
• パスクエリのパフォーマンスと標準的な知識ベース完成の両方を向上させる一般化可能なトレーニング目的を構築すること。
• 合成的トレーニングが構造的正則化の一種として機能し、多様なモデルにわたる一般化を向上させることを示すこと。

提案手法

• （例：双線形、TransEなど）ベースの知識ベース完成モデルを、ベクタースペースにおけるソフトエッジトレースオペレータとして解釈する。
• これらのオペレータを再帰的に合成して、関係埋め込みを横断するベクタートランスフォーメーション（例：行列乗算）を適用することで、マルチホップパスを予測する。
• 合成パス上の予測誤差を最小化することで、パスクエリの正確性を明示的に最適化する合成的トレーニング目的を導入する。
• エントリティ集合を低次元ベクトルとしてモデル化する微分可能なパス表記表現を用い、勾配ベース最適化を可能にする。
• 予測されたパス表記と真値集合との整合性を促進することで、エントリティベクトルの空間的配置を正則化する。
• 既存の三項組から導出された合成的パスクエリを用いてトレーニングを行い、標準的なKBCデータセットに合成的監視を追加する。

実験結果

リサーチクエスチョン

• RQ1 知識ベース完成のためのベクタースペースモデルは、マルチホップパスクエリに効果的に合成化可能か？
• RQ2 標準的なKBCトレーニングと比較して、専用の合成的トレーニング目的はパスクエリ予測における累積誤差を低減するか？
• RQ3 合成的トレーニングは、標準的な知識ベース完成タスクにおいてどの程度のパフォーマンス向上をもたらすか？
• RQ4 合成的トレーニングは、異なるベースモデルにわたる一般化を促進する構造的正則化の一種と見なせるか？
• RQ5 パス長や中間関係の精度に応じて、モデルのパフォーマンスはどのように変化するか？

主な発見

• 合成的トレーニングにより、特に長さ5のパスにおいて、性能が2倍以上に向上する事例が複数確認された。
• 全テスト対象ベースモデルにおいて、標準的な知識ベース完成の誤差率が最大43％低減され、新記録を樹立した。
• 合成的目的はベクタースペース幾何の正則化に効果的であり、精度の高いパスでは、埋め込み距離がターゲット関係に近づく傾向が顕著に見られた。
• 合成的目的でトレーニングされたモデルは、アブラハム・リンカーンの存在しない娘など、未観測または仮想のエントリティに対してもより良い一般化性能を示した。
• 合成的トレーニング目的により、ベクタースペースにおける合成によって予測された集合と真値集合との整合性が向上し、より正確なパス表記が得られた。
• 双線形モデルやTransEを含む合成可能なモデルに広く適用可能であり、アーキテクチャを問わず一貫した向上が確認された。