[論文レビュー] Uncertainty-Aware Relational Graph Neural Network for Few-Shot Knowledge Graph Completion

Qian Li, Shu Guo+4 more|arXiv (Cornell University)|Mar 7, 2024

Advanced Graph Neural Networks被引用数 4

ひとこと要約

本稿では、ガウス分布表現を用いてエンティティおよび関係の不確実性をモデル化し、不確実性に配慮した関係的GNN（UR-GNN）を用いて不確実性下での近傍情報の集約を行う、新規な不確実性対応少数ショット知識グラフ補完フレームワークUFKGCを提案する。ガウス分布からの複数回のランダムサンプリングと不確実性最適化を用いることで、ベンチマークデータセットにおいて最先端の性能を達成し、ノイズが多く、限られた少数ショットデータに対しても頑健であることが示された。

ABSTRACT

Few-shot knowledge graph completion (FKGC) aims to query the unseen facts of a relation given its few-shot reference entity pairs. The side effect of noises due to the uncertainty of entities and triples may limit the few-shot learning, but existing FKGC works neglect such uncertainty, which leads them more susceptible to limited reference samples with noises. In this paper, we propose a novel uncertainty-aware few-shot KG completion framework (UFKGC) to model uncertainty for a better understanding of the limited data by learning representations under Gaussian distribution. Uncertainty representation is first designed for estimating the uncertainty scope of the entity pairs after transferring feature representations into a Gaussian distribution. Further, to better integrate the neighbors with uncertainty characteristics for entity features, we design an uncertainty-aware relational graph neural network (UR-GNN) to conduct convolution operations between the Gaussian distributions. Then, multiple random samplings are conducted for reference triples within the Gaussian distribution to generate smooth reference representations during the optimization. The final completion score for each query instance is measured by the designed uncertainty optimization to make our approach more robust to the noises in few-shot scenarios. Experimental results show that our approach achieves excellent performance on two benchmark datasets compared to its competitors.

研究の動機と目的

• 限られた参照トリプルにより不確実な表現が生じる、少数ショット知識グラフ補完（FKGC）におけるノイズと不確実性の課題に対処すること。
• 既存のFKGC手法がエンティティを決定論的ベクトルとして扱うが、スパースなデータに内在する不確実性を無視するという制限を克服すること。
• 確率的表現による不確実性の明示的モデル化を通じて、リソースが限られた状況での一般化性能の向上を図ること。
• 不確実性モデリング、不確実性に配慮したメッセージパッシング、不確実性最適化スコアリングを統合した包括的なフレームワークの構築により、より頑健な性能を実現すること。

提案手法

• エンティティおよびトリプル表現を決定論的ベクトルから、分散が不確実性を符号化するガウス分布に変換する。
• 特徴分布に基づいてエンティティペアの不確実性範囲を推定する不確実性表現モジュールを設計する。
• ガウス分布に従うノード特徴間で畳み込み操作を実行する不確実性に配慮した関係的GNN（UR-GNN）を提案し、集約過程でも不確実性を保持する。
• 最適化中に予測されたガウス分布から複数回のランダムサンプリングを適用し、滑らかで多様な参照表現を生成する。
• 最終的な補完スコアを測定するための不確実性最適化を導入し、ノイズや不確実性を含む参照トリプルに対しても頑健性を確保する。
• 不確実性空間内での確率的サンプリングを通じて、元のデータ分布を維持しつつ一般化性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 ノイズが多く、限られた参照トリプルを含む少数ショット知識グラフ補完における不確実性を、どのように効果的にモデル化すれば、ノイズに強く頑健な性能が得られるか？
• RQ2 学習データが限られる状況下で、グラフニューラルネットワークにおける不確実性対応メッセージパッシングが表現学習をどのように向上させるか？
• RQ3 不確実性最適化におけるガウス分布からの最適なランダムサンプル数は何か？性能とノイズのバランスをとるには？
• RQ4 UR-GNNの層数が、少数ショットKG補完における性能と過剰平滑化にどのように影響を与えるか？

主な発見

• 提案されたUFKGCフレームワークは、複数の少数ショット設定において、2つのベンチマークデータセット（NELLおよびWiki）で最先端の性能を達成し、既存のSOTA手法を上回った。
• NELLデータセットではガウス分布あたり10サンプルが最適な性能を示したが、Wikiデータセットでは8サンプルが最適であった。これは、分散とノイズのトレードオフを示している。
• 3層のUR-GNN構成が、高階近傍情報へのアクセスと過剰平滑化の回避の両立において最良のバランスを提供した。
• ランダムサンプル数を増やすことで性能が向上するが、閾値を超えるとノイズの影響で性能がわずかに低下した。
• 不確実性対応フレームワークは、特に不確実性が高く、ショット数が少ない状況において、ノイズの多い参照トリプルに対して優れた頑健性を示した。
• 不確実性最適化機構により、元のデータ分布を歪めることなく、滑らかでサンプリングされた表現からの一貫した知識学習が可能となった。