[論文レビュー] Adaptive Attentional Network for Few-Shot Knowledge Graph Completion

Jiawei Sheng, Shu Guo+5 more|arXiv (Cornell University)|Oct 19, 2020

Advanced Graph Neural Networks参考文献 30被引用数 7

ひとこと要約

本稿では、少数ショット知識グラフ補完のための適応的注意機構を備えたFAANを提案する。FAANは、適応的近傍符号化とクエリに適応した注意機構を用いて、エンティティおよび参照の動的でタスク固有の表現を学習する。エンティティの役割と参照の寄与度を動的にモデル化することで、さまざまな少数ショット設定において2つの公開データセットで最先端の性能を達成する。

ABSTRACT

Few-shot Knowledge Graph (KG) completion is a focus of current research, where each task aims at querying unseen facts of a relation given its few-shot reference entity pairs. Recent attempts solve this problem by learning static representations of entities and references, ignoring their dynamic properties, i.e., entities may exhibit diverse roles within task relations, and references may make different contributions to queries. This work proposes an adaptive attentional network for few-shot KG completion by learning adaptive entity and reference representations. Specifically, entities are modeled by an adaptive neighbor encoder to discern their task-oriented roles, while references are modeled by an adaptive query-aware aggregator to differentiate their contributions. Through the attention mechanism, both entities and references can capture their fine-grained semantic meanings, and thus render more expressive representations. This will be more predictive for knowledge acquisition in the few-shot scenario. Evaluation in link prediction on two public datasets shows that our approach achieves new state-of-the-art results with different few-shot sizes.

研究の動機と目的

• 少数ショット知識グラフ補完における静的エンティティおよび参照表現の限界を解消すること。
• タスク関係に応じてエンティティの役割を動的にモデル化するため、タスクコンテキストに基づいて近傍注意を適応させる。
• クエリコンテキストに基づいて参照の寄与度を区別するため、クエリに適応した注意重みを学習する。
• エンティティおよび参照の微細な意味的意味を捉えることで、少数ショット学習を改善すること。
• 長尾関係において、低データ環境での一般化性能および予測性能を向上させること。

提案手法

• FAANは、タスク関係に応じてエンティティの一次近傍に注意重みを動的に割り当てる適応的近傍符号化器を採用し、役割に適応したエンティティ表現を可能にする。
• モデルは、タスク関係の多義的意味を参照およびクエリトリプルで捉えるために、Transformerブロックのスタックを用いる。
• クエリに適応したアグリゲーターは、クエリごとに変化する注意重みを計算することで、参照を動的に集約し、その関連性を区別する。
• 注意機構は翻訳仮定に基づいており、タスク固有の意味に応じた動的適応を可能にする。
• エンティティ表現は文脈的に重み付けされた近傍によって強化され、参照表現はクエリとの動的マッチングによって洗練される。
• 最終的な予測は、適応的注意を用いてクエリと候補エンティティ間の関連性を計算するマッチングプロセッサによって行われる。

実験結果

リサーチクエスチョン

• RQ1 異なるタスク関係における多様な役割を反映するために、エンティティ表現をどのように動的にすることができるか？
• RQ2 クエリコンテキストに基づいて参照表現を適応的に重み付けすることで、少数ショット予測を改善できるか？
• RQ3 動的注意モデリングは、静的表現よりも少数ショット知識グラフ補完で優れた性能を達成するか？
• RQ4 候補エンティティ数が異なる関係において、モデルはどのように一般化するか？
• RQ5 異なる少数ショット設定において、既存の最先端手法を上回ることができるか？

主な発見

• FAANは、少数ショット状況におけるリンク予測において、NELLおよびFreebaseの両データセットで新たな最先端の結果を達成した。
• NELLでは、5ショット設定において、MRRをMetaRの0.371から0.533へ、Hits@10を0.453から0.766へ向上させた。
• 大きな候補集合（例：10,569候補）を持つ関係に対しても、FAANは強力な性能を維持し、Hits@10が0.128であったのに対し、MetaRは0.086であった。
• モデルは関係全体にわたり頑健であり、NELLテストセットの11の関係IDのうち9つでMetaRを上回った。
• 事例 studies により、注意重みが動的に適応することが確認された：場所関連のクエリは場所関連の参照に注目し、組織関連のクエリは組織関連の参照に注目した。
• 適応的マッチングプロセッサは、LSTMマッチングや単純な参照選択（C1, C2）といったベースラインを著しく上回り、優れた関連性計算性能を示した。