[論文レビュー] Hierarchical Relational Learning for Few-Shot Knowledge Graph Completion

Han Wu, Jie Yin+2 more|arXiv (Cornell University)|Sep 2, 2022

Advanced Graph Neural Networks被引用数 9

ひとこと要約

本稿では、少数ショット知識グラフ補完のための階層的関係学習フレームワークHiReを提案する。対照的学習、トランスフォーマーに基づくメタ関係学習者、およびMTransDを用いて、文脈レベル、トリプルレベル、エンティティレベルの関係情報を統合的にモデル化する。HiReは、少数ショット設定における多段階の関係的依存関係を効果的に捉えることで、ベンチマークデータセットで最先端の性能を達成する。

ABSTRACT

Knowledge graphs (KGs) are powerful in terms of their inference abilities, but are also notorious for their incompleteness and long-tail distribution of relations. To address these challenges and expand the coverage of KGs, few-shot KG completion aims to make predictions for triplets involving novel relations when only a few training triplets are provided as reference. Previous methods have focused on designing local neighbor aggregators to learn entity-level information and/or imposing a potentially invalid sequential dependency assumption at the triplet level to learn meta relation information. However, pairwise triplet-level interactions and context-level relational information have been largely overlooked for learning meta representations of few-shot relations. In this paper, we propose a hierarchical relational learning method (HiRe) for few-shot KG completion. By jointly capturing three levels of relational information (entity-level, triplet-level and context-level), HiRe can effectively learn and refine meta representations of few-shot relations, and thus generalize well to new unseen relations. Extensive experiments on benchmark datasets validate the superiority of HiRe over state-of-the-art methods. The code can be found in https://github.com/alexhw15/HiRe.git.

研究の動機と目的

• 既存の少数ショットKG補完手法が文脈レベルおよびトリプルレベルの関係情報を見過ごすという限界を解決すること。
• エンティティレベル、トリプルレベル、文脈レベルの3段階の関係情報の統合的モデリングにより、未知の関係への一般化を向上させること。
• 従来の手法が順序依存性の仮定に依存するのを回避し、参照トリプル間の順序に依存しないペairワイズ相互作用をモデル化すること。
• 文脈化されたトリプルに対する対照的学習を通じて、少数ショット関係のメタ表現学習を強化すること。
• アブレーションスタディおよびハイパーパramータ感受性分析を通じて、各コンポonentの有効性を検証すること。

提案手法

• HiReは、各ターゲットトリプルに対して真の文脈と偽の文脈を区別することで、文脈レベルの関係的情報を対照的学習機構を用いてモデル化する。
• 参照トリプル間のペアワイズのトリプルレベル相互作用を捉えるために、トランスフォーマーに基づくモジュールを用い、順序に依存しないメタ関係学習を実現する。
• エンティティレベルの関係的学習は、エンティティおよび関係の埋め込みを制約するとともに、エンティティおよび関係の多様性を考慮するMTransDにより精緻化される。
• 各メタタスク上でモデルを最適化するためのMAMLベースのトレーニング戦略が採用され、新しい関係への高速適応を可能にする。
• 全体の損失関数は、マージン損失と対照的損失をハイパーパramータλでバランスさせることで、効果的な監視を保証する。
• すべての3段階の関係的学習を統合する統一フレームワークを用いて、エンドツーエンドでモデルをトレーニングする。

実験結果

リサーチクエスチョン

• RQ1 文脈レベル、トリプルレベル、エンティティレベルの関係的情報を統合的にモデリングすることで、少数ショット知識グラフ補完の性能が向上するか？
• RQ2 少数ショット参照トリプル間の順序に依存しないペアワイズ相互作用を捉えるために、トランスフォーマーに基づくアプローチはどの程度有効か？
• RQ3 トリプルの文脈に対する対照的学習は、未知の関係のメタ表現学習をどの程度向上させるか？
• RQ4 HiReの個々のコンポーネント（文脈レベル、トリプルレベル、エンティティレベル学習）は、全体の性能にどの程度寄与しているか？
• RQ5 N（偽の文脈の数）およびλ（損失バランス）の最適な設定は何か？ロバストな性能を得るにはどのようになるか？

主な発見

• HiReは2つのベンチマークデータセットで最先端の手法を上回り、少数ショット知識グラフ補完における優れた一般化性能を示した。
• アブレーションスタディの結果、MRLコンポーネント（トランスフォーマーに基づくトリプルレベル学習）を削除すると、3ショットではMRRが4%低下、5ショットでは5.4%低下し、その重要性が明確になった。
• 文脈レベルの対照的学習を削除すると顕著な性能低下が生じ、少数ショット学習における文脈情報の重要性が裏付けられた。
• MTransDをTransEに置き換えると顕著な性能低下が生じ、MTransDによるエンティティレベルの精緻化の必要性が確認された。
• 偽の文脈数Nの最適値は1であり、Nを1より大きくすると、対照的損失の早期収束により性能が低下する。
• 最適なハイパーパramータλは0.05であり、マージン損失と対照的損失を効果的にバランスさせ、λが大きすぎると性能が低下することがわかった。