[論文レビュー] Context-Enhanced Entity and Relation Embedding for Knowledge Graph Completion

Ziyue Qiao, Zhiyuan Ning+2 more|arXiv (Cornell University)|Dec 13, 2020

Advanced Graph Neural Networks参考文献 4被引用数 4

ひとこと要約

本稿では、学習可能なアテンションメカニズムを用いて、エンティティおよび関係の近隣から逐次的文脈情報を集約することで、エンティティおよび関係の埋め込みを向上させる知識グラフ補完モデルAggrEを提案する。本モデルは、FB15K-237およびWN18RRで最先端の性能を達成し、特にリソースが限られた環境下でも顕著な優位性を示している。

ABSTRACT

Most researches for knowledge graph completion learn representations of entities and relations to predict missing links in incomplete knowledge graphs. However, these methods fail to take full advantage of both the contextual information of entity and relation. Here, we extract contexts of entities and relations from the triplets which they compose. We propose a model named AggrE, which conducts efficient aggregations respectively on entity context and relation context in multi-hops, and learns context-enhanced entity and relation embeddings for knowledge graph completion. The experiment results show that AggrE is competitive to existing models.

研究の動機と目的

• 既存の知識グラフ補完モデルがエンティティおよび関係の両方からの文脈情報を十分に活用できないという限界を解決すること。
• エンティティおよび関係の埋め込みにマルチホップ近隣文脈を統合することで、リンク予測性能を向上させること。
• 複雑な変換を避けることで過学習を回避する効率的でパラメータが少ないモデルを設計すること、特にスパースな知識グラフにおいて。
• より良い表現学習のため、エンティティ文脈と関係文脈を共同でモデル化する有効性を調査すること。

提案手法

• モデルは、エンティティの文脈をそのエンティティに接続するすべての（関係, 近隣エンティティ）ペアとして定義し、関係の文脈をその関係によって接続されるすべての（頭部, 尾部）エンティティペアとして定義する。
• エンティティと関係の埋め込みを、学習可能なアテンション重みを用いてそれぞれの文脈に注目することで交互に更新する多層アグリゲーション機構を採用する。
• アテンション重みは、DistMultに基づくスコア関数により計算され、文脈的近隣にわたる微分可能なアテンションを可能にする。
• アグリゲーションルールは、関係の埋め込みと近隣エンティティ埋め込みの要素積を現在のエンティティ埋め込みと組み合わせ、残差接続を用いる。
• 最終的な埋め込みは、DistMultスコア関数を用いて三つ組スコアを計算し、その後、学習のためのソフトマックス損失を適用する。
• モデルは、L2正則化とミニバッチ学習を用いて、Adam最適化アルゴリズムを用いてエンドツーエンドで訓練される。

実験結果

リサーチクエスチョン

• RQ1 エンティティと関係の文脈を共同でモデル化することで、知識グラフ補完性能が向上するか？
• RQ2 エンティティまたは関係の文脈のみを用いるモデルと比較して、マルチホップ文脈情報を統合することで、リンク予測精度にどのような影響を与えるか？
• RQ3 複雑な変換を避けることでパラメータ効率的なアーキテクチャは、知識グラフ補完において標準的なGNNを上回る性能を示すか？
• RQ4 文脈集約は、リソースが限られたかスパースな知識グラフにおいて、過学習をどの程度軽減するか？
• RQ5 FB15K-237やWN18RRといった標準ベンチマークにおいて、最先端のベースラインと比較して本モデルはどの程度の性能を示すか？

主な発見

• AggrEはWN18RRでMRR 0.953を達成し、最高のベースライン（RotatEの0.799）を大きく上回り、スパースなグラフにおいて強力な性能を示している。
• FB15K-237ではAggrEがMRR 0.966を達成し、SimplE（0.971）やRotatE（0.970）を含むすべてのベースラインを上回っており、データセット間で堅牢であることが示された。
• 両ベンチマークでHit@3スコアが0.989を記録しており、トップ3の予測において高い精度を示している。
• 同じスコア関数を用いても、AggrEはDistMultを大幅に上回る性能を示しており、文脈集約の価値が裏付けられている。
• 特にWN18RRで改善が顕著で、AggrEの文脈集約が低密度の知識グラフにおいて特に効果的であることが示唆された。
• エンティティおよび関係の埋め込みのみをトレーニング可能なパラメータとして使用しているにもかかわらず、モデルの性能は維持されており、過学習のリスクが低いことが示された。