[論文レビュー] Knowledge Graph Embedding with Multiple Relation Projections

Kien Do, Truyen Tran+1 more|arXiv (Cornell University)|Jan 26, 2018

Advanced Graph Neural Networks参考文献 24被引用数 4

ひとこと要約

本稿では、共有ベース部分空間を用いて関係の射影をモデル化する知識グラフ埋め込み手法TransFを提案する。これにより計算コストを著しく削減し、多数の関係を含む設定でもロバスト性が向上する。関係固有の射影行列を低ランクのベーステンソルと関係固有の座標に分解することにより、リンク予測において最先端の性能を達成し、従来手法に比べてN対1/1対N関係の頭部/末尾エンティティ予測でそれぞれ9%/5%の向上を達成した。

ABSTRACT

Knowledge graphs contain rich relational structures of the world, and thus complement data-driven machine learning in heterogeneous data. One of the most effective methods in representing knowledge graphs is to embed symbolic relations and entities into continuous spaces, where relations are approximately linear translation between projected images of entities in the relation space. However, state-of-the-art relation projection methods such as TransR, TransD or TransSparse do not model the correlation between relations, and thus are not scalable to complex knowledge graphs with thousands of relations, both in computational demand and in statistical robustness. To this end we introduce TransF, a novel translation-based method which mitigates the burden of relation projection by explicitly modeling the basis subspaces of projection matrices. As a result, TransF is far more light weight than the existing projection methods, and is robust when facing a high number of relations. Experimental results on the canonical link prediction task show that our proposed model outperforms competing rivals by a large margin and achieves state-of-the-art performance. Especially, TransF improves by 9%/5% in the head/tail entity prediction task for N-to-1/1-to-N relations over the best performing translation-based method.

研究の動機と目的

• 数千の関係を含む知識グラフにおいて、TransR や TransD などの既存の関係射影手法が示すスケーラビリティと統計的非効率性を解決すること。
• 現在の手法が関係固有の射影設計のため無視している、'国籍'と'出身地'の間に見られるような関係間の潜在的相関をモデル化すること。
• 関係固有の射影行列の計算負荷とパラメータの負担を軽減しながら、予測性能を維持または向上させること。
• 高関係的多様性を示す複雑な知識グラフにおいて、よりロバストで効率的なリンク予測を可能にすること。

提案手法

• 関係固有の射影行列を関係固有の座標行列と共有ベーステンソルの積に分解することで、パラメータ数を削減する。
• 射影空間を固定された行列ベースベクトルの線形結合としてモデル化し、射影行列の低ランク表現を可能にする。
• すべての関係に共通するベーステンソルを用い、各関係の射影はそのベース空間内での固有の座標ベクトルによって定義される。
• エンティティ埋め込みは、これらの学習済みのベース射影を通じて関係空間に投影され、TransEに類似した翻訳ベースの推論が実行される。
• エネルギー関数は、射影された頭部埋め込みに関係ベクトルを加えたものが、射影された末尾埋め込みに近づくことを制約する：$\|\mathbf{h}_\perp + \mathbf{r} - \mathbf{t}_\perp\|_{\ell_1/2}$。
• ネガティブサンプリングと確率的最適化を用いて、正例トリプルのエネルギーを最小化する形で、エンドツーエンドでモデルを学習する。

実験結果

リサーチクエスチョン

• RQ1 関係射影行列の低ランクベース分解は、知識グラフ埋め込みにおけるスケーラビリティとロバスト性を向上させ得るか？
• RQ2 共有ベース部分空間を用いて関係間の潜在的相関をモデル化することで、リンク予測タスクのパフォーマンスは向上するか？
• RQ3 TransR、TransD、TransSparse などの最先端手法と比較して、TransF のパフォーマンスと計算効率はどのように異なるか？
• RQ4 N対1および1対N関係において、従来の手法が困難としている状況でも、TransF は高いパフォーマンスを維持できるか？

主な発見

• Freebase および WordNet データセットにおいて、リンク予測タスクでTransFは最先端のパフォーマンスを達成した。
• N対1および1対N関係において、最もパフォーマンスの優れた翻訳ベース手法に比べ、頭部エンティティ予測で9%、末尾エンティティ予測で5%の向上を達成した。
• すべての関係に共通する少数のベース行列を共有することで、TransR や TransD に比べてパラメータ数と計算コストを顕著に削減した。
• 学習済みの関係埋め込みの可視化により、'国籍'と'出身地'のような意味的な構造的相関をTransFが適切に捉えていることが確認された。
• 数千の関係を含む知識グラフへのスケーリングにおいて、TransFは各関係を独立に扱う手法に比べ、優れた統計的ロバスト性を示した。