[論文レビュー] InGram: Inductive Knowledge Graph Embedding via Relation Graphs
InGram は新しい関係と新しいエンティティに一般化する帰納的知識グラフ埋め込みを、関係-グラフベースの集約を学習し推論時に再訓練なしで適用することで実現します。
Inductive knowledge graph completion has been considered as the task of predicting missing triplets between new entities that are not observed during training. While most inductive knowledge graph completion methods assume that all entities can be new, they do not allow new relations to appear at inference time. This restriction prohibits the existing methods from appropriately handling real-world knowledge graphs where new entities accompany new relations. In this paper, we propose an INductive knowledge GRAph eMbedding method, InGram, that can generate embeddings of new relations as well as new entities at inference time. Given a knowledge graph, we define a relation graph as a weighted graph consisting of relations and the affinity weights between them. Based on the relation graph and the original knowledge graph, InGram learns how to aggregate neighboring embeddings to generate relation and entity embeddings using an attention mechanism. Experimental results show that InGram outperforms 14 different state-of-the-art methods on varied inductive learning scenarios.
研究の動機と目的
- 推論時に新しい関係が出現する可能性のある現実世界の帰納的知識グラフ補完を動機づける。
- 関係間の親和性を捉え、関係レベルの集約を可能にする関係グラフを定義する。
- 隣接ノードの集約を通じて関係とエンティティの埋め込みを共同で学習する帰納的埋め込み法を開発する。
- 未知のグラフへの一般化を高めるため、動的な特徴分割とランダム初期化で訓練する。
- 完全に新しい関係とエンティティを含む多様な帰納的シナリオにおいて、優れた実証的性能を示す。
提案手法
- ノードが関係で、エッジの重みが関係の親和性を符号化する関係グラフを定義する。
- 関係グラフの隣接ノード上で注意機構ベースの集約を用い、L層にわたって関係表現を更新する。
- 関係認識型注意を用いて、隣接ノードとそれに接続された関係、および自己埋め込みを集約してエンティティ表現を更新する。
- 学習された関係埋め込みとエンティティ埋め込みを用いた DistMult スタイルのスコア関数 f(v_i, r_k, v_j) で関係-エンティティ間の相互作用をモデル化する。
- トレーニングの三つ組に対してマージンベースのランキング損失を用いて訓練し、一般化を改善するために動的な再分割とランダム初期化を採用する。
- 推論時には、学習された注意パラメータと関係グラフ構造に基づいて、隣接ノードを集約して新しい関係とエンティティの埋め込みを生成する。
実験結果
リサーチクエスチョン
- RQ1完全に新しい関係の埋め込みを、再訓練なしで推論時に生成できるだろうか?
- RQ2関係グラフベースの集約が、さまざまな帰納的シナリオにおいて未知の関係とエンティティへ知識をどれだけ効果的に転移できるか。
- RQ3既存の手法と比較して、関係レベルとエンティティレベルの集約を共同でモデル化することは帰納的リンク予測の性能を向上させるか?
- RQ4動的な特徴分割とランダム初期化が推論グラフへの一般化に与える影響はどの程度か?
- RQ5新規関係の割合が異なるデータセットに渡って、InGram は最新の帰納的 KG補完手法と比較してどの程度優れているか?
主な発見
- InGram は様々な新規関係比率で12データセットにおいて、14のベースラインを大きく上回る。
- すべての関係が新規の場合(帰納的関係設定)でも、既知・新規の混在がある場合(半帰納的)でも、モデルは高い性能を維持する。
- 関係グラフベースの集約により、既知の関係との親和性を活用して未知の関係の埋め込みを効果的に行える。
- エンティティ埋め込みは、隣接する関係や結びついたエンティティに注意を向けることで改善され、リンク予測スコアが向上する。
- 動的な訓練時分割とランダム初期化は推論グラフへの一般化を高め、アブレーション設定全般で有益である。
- NL、WK、FBベンチマークで、InGram は MR、MRR、Hit@K の指標で競合手法と比較して顕著な向上を示す。
この論文を読む
Nubintのビューアで原文を開き、読みながら気になる箇所をすぐに質問できます。
Nubintでこの論文を読むこのレビューはAIが論文の原文をもとに作成しました。引用する前に原文をご確認ください。