[論文レビュー] Knowledge Graph Embedding with Entity Neighbors and Deep Memory Network

Kai Wang, Yu Liu+2 more|ArXiv.org|Aug 11, 2018

Advanced Graph Neural Networks参考文献 32被引用数 17

ひとこと要約

本稿では、構造的および意味的情報をエンティティの周辺に統合することでエンティティ表現を向上させる、新しいKGEモデルであるNeighborhood Knowledge Graph Embedding (NKGE)を提案する。周辺は、トポロジカルな周辺（直接のKG接続）と意味的周辺（相互に記述で言及される）に分けられる。隣接特徴を符号化するためのディープメモリネットワーク（DMN）と、構造的埋め込みと融合するゲーティング機構を用い、NKGEは4つのベンチマークデータセットにおいてリンク予測で最先端の性能を達成し、エンティティ記述を用いる手法を上回った。

ABSTRACT

Knowledge Graph Embedding (KGE) aims to represent entities and relations of knowledge graph in a low-dimensional continuous vector space. Recent works focus on incorporating structural knowledge with additional information, such as entity descriptions, relation paths and so on. However, common used additional information usually contains plenty of noise, which makes it hard to learn valuable representation. In this paper, we propose a new kind of additional information, called entity neighbors, which contain both semantic and topological features about given entity. We then develop a deep memory network model to encode information from neighbors. Employing a gating mechanism, representations of structure and neighbors are integrated into a joint representation. The experimental results show that our model outperforms existing KGE methods utilizing entity descriptions and achieves state-of-the-art metrics on 4 datasets.

研究の動機と目的

• 既存のKGE手法におけるノイジーで非構造的な追加情報（例：エンティティ記述、関係パス）の制限を解消すること。
• 意味的およびトポロジカル特徴を統合しながらノイズを低減する、新たな形の追加情報「エンティティ周辺」を提案すること。
• エンティティ周辺からの潜在的表現を効果的に抽出するためのディープメモリネットワーク（DMN）エンコーダーを設計すること。
• 構造的KGEモデル（TransEおよびConvE）と、学習可能なゲーティング機構を介して周辺表現を統合し、共同埋め込み学習を実現すること。
• エンティティ周辺とDMNエンコーダーの優位性を、従来の記述ベース手法と比較して実証的に検証すること。

提案手法

• エンティティ周辺は、関係を通じて直接接続されるエンティティ（トポロジカルな周辺）と、お互いの記述に言及されるエンティティ（意味的周辺）の和集合として定義される。
• 隣接情報の符号化にディープメモリネットワーク（DMN）を採用し、複数のメモリホップと注釈メカニズムを通じて文脈的な表現を学習する。
• 構造的表現（TransE や ConvE から得られる）と隣接表現を、動的ゲーティング機構を用いて統合し、統合されたエンティティ埋め込みを生成する。
• 負例サンプリングと確率的勾配降下法を用いて、エンドツーエンドでモデルを学習し、リンク予測損失を最適化する。
• 2つのバージョンを実装した：NKGE（TransE）とNKGE（ConvE）、両者ともそれぞれのアーキテクチャに隣接符号化を統合している。
• 制御されたアブレーションスタディにより、隣接表現とエンコーダー設計の影響を、記述と隣接の両方でCBOWおよびLSTMベースのエンコーダーと比較することで分離して評価した。

実験結果

リサーチクエスチョン

• RQ1 意味的およびトポロジカル特徴を統合したエンティティ周辺は、従来のエンティティ記述よりも効果的でノイズの少ない追加情報として機能するか？
• RQ2 複雑なパターンを捉える能力において、シンプルなエンコーダー（例：CBOW、LSTM）に比べ、ディープメモリネットワーク（DMN）は優れているか？
• RQ3 学習可能なゲーティング機構を介した隣接表現統合により、スパarsなまたは不完全な知識グラフにおいてKGEの性能が向上するか？
• RQ4 エンティティ記述を用いる最先端のKGEモデルと比較して、NKGEの性能はどの程度優れているか？
• RQ5 トポロジカルな周辺と意味的周辺は独立して寄与しており、それらの組み合わせがより効果的か？

主な発見

• NKGE（TransE）は、4つのベンチマークデータセットすべてで最先端の平均順位（MR）を達成し、エンティティ記述を用いるTransEベースのベースラインを上回った。
• NKGE（ConvE）は、大多数のデータセットで最先端の平均逆順位（MRR）およびHits@Nスコアを達成し、FB15kではANALOGYをも上回った。
• FB15kでは、NKGE（DMN + Nei）がMR = 50およびHits@10 = 78.5を達成し、DKRL（MR = 91、Hits@10 = 67.4）およびJointly（MR = 73、Hits@10 = 75.5）を上回った。
• アブレーションスタディにより、エンティティ周辺のみ（NKGE（CBOW + Nei））が、同じエンコーダーを用いた記述ベース手法を上回ることを確認し、周辺表現の価値を裏付けた。
• DMNエンコーダーはCBOWおよびLSTMエンコーダーに比べて顕著に性能を向上させ、NKGE（DMN + Des）はMR = 53およびHits@10 = 76.0を達成し、Jointly（A_LSTM + Des）を上回った。
• トポロジカルおよび意味的周辺の両方を組み合わせたNKGE（T&S）が最良の性能（MR = 237、Hits@10 = 51.0）を示し、両方の周辺タイプが補完的であることを確認した。