[論文レビュー] Compositional Learning of Relation Path Embedding for Knowledge Base Completion

Xixun Lin, Yanchun Liang+3 more|arXiv (Cornell University)|Nov 22, 2016

Advanced Graph Neural Networks参考文献 18被引用数 4

ひとこと要約

本稿では、関係パス埋め込み（RPE）のための構成的学習モデルを提案する。このモデルは、関係固有およびパス固有の潜在空間において、エンティティおよび関係の表現を同時に学習することで、知識ベースの完成度を向上させる。パスランクイングを用いて信頼性の高い関係パスを統合し、パス固有の投影およびタイプ制約を導入することで、最先端のモデルを上回るリンク予測および三項分類の精度が向上する。

ABSTRACT

Large-scale knowledge bases have currently reached impressive sizes; however, these knowledge bases are still far from complete. In addition, most of the existing methods for knowledge base completion only consider the direct links between entities, ignoring the vital impact of the consistent semantics of relation paths. In this paper, we study the problem of how to better embed entities and relations of knowledge bases into different low-dimensional spaces by taking full advantage of the additional semantics of relation paths, and we propose a compositional learning model of relation path embedding (RPE). Specifically, with the corresponding relation and path projections, RPE can simultaneously embed each entity into two types of latent spaces. It is also proposed that type constraints could be extended from traditional relation-specific constraints to the new proposed path-specific constraints. The results of experiments show that the proposed model achieves significant and consistent improvements compared with the state-of-the-art algorithms.

研究の動機と目的

• 信頼性の高い関係パスの一貫性のある意味を活用することで、知識ベースの完成度を向上させること。
• 直接的なエンティティ関係に依存する翻訳ベースのモデルの限界を解消し、マルチホップの関係的意味を活用できるようにすること。
• 従来の関係固有のメカニズムを拡張し、埋め込み空間における識別性を高めるために、パス固有の投影およびタイプ制約を導入すること。
• パスランクイングアルゴリズム（PRA）を用いて信頼性の低いパスをフィルタリングすることで、解釈可能性と推論能力を向上させること。
• 関係パスの構成的学習が、より強固で正確な知識表現をもたらすことを実証すること。

提案手法

• RPEは、それぞれのエンティティを関係固有の潜在空間およびパス固有の潜在空間に、専用の投影行列 M_r および M_p を用いてマッピングする。
• 追加のパラメータを導入せずに、2種類の構成メカニズム（ACOM）を用いてパス表現を動的に合成することで、柔軟なパス埋め込みを実現する。
• パス固有の投影は、信頼性の高い関係パスを特定・優先するため、パスランクイングアルゴリズム（PRA）を用いて学習される。これにより、意味的一致性とモデルの解釈可能性が向上する。
• タイプ制約は関係固有からパス固有へ拡張され、埋め込み空間における類似エンティティの区別能力が向上する。
• 関係固有およびパス固有の制約を統合した、修正されたネガティブサンプリング戦略が採用され、トレーニングの安定性と一般化性能が向上する。
• 三項の妥当性を評価するスコア関数はL1ノルムに基づき、分類のためのしきい値処理が学習されたマージン δ_r を用いて実施される。

実験結果

リサーチクエスチョン

• RQ1 信頼性の高い関係パスの一貫性のある意味をモデル化することで、知識ベースの完成度の性能向上が図れるか？
• RQ2 パス固有の投影および制約を統合することで、エンティティ表現の識別性がどのように向上するか？
• RQ3 パス固有のタイプ制約は、関係固有の制約に比べて、類似エンティティをどれほど効果的に区別できるか？
• RQ4 PRAでフィルタリングされたパスを統合することで、知識表現学習の解釈可能性とロバスト性が向上するか？
• RQ5 関係パスの構成的学習は、データ駆動型知識埋め込みモデルに対して一貫した改善をもたらすか？

主な発見

• RPE（PC + ACOM）は、すべてのデータセットで三項分類において最高の性能を達成し、ベースラインモデルを大きく上回る。
• RPE（PC）は、RPE（initial）に対して、WN11では4.5%、FB13では6.0%、FB15Kでは13.2%の向上を示し、パス固有の投影の価値を実証する。
• モデルの性能向上はFB15Kで最も顕著であり、複雑で大規模なKBにおいてパスベースの推論が特に有効であることを示唆する。
• パス固有のタイプ制約の導入により、モデルの識別性が顕著に向上し、関係タイプ情報に依存するモデルを上回る。
• 事例研究により、RPEが「WroteBook」の例で「CreatedRole」→「Describedin」といった意味的に一貫した関係パスを正しく同定していることが確認された。これは、翻訳ベースのモデルが見逃す事例である。
• PRAを用いて信頼性の低いパスをフィルタリングすることで、学習された表現の解釈可能性が向上し、性能に悪影響を及げない。