[論文レビュー] Meta-Learning Based Knowledge Extrapolation for Knowledge Graphs in the Federated Setting

Mingyang Chen, Wen Zhang+5 more|arXiv (Cornell University)|May 10, 2022

Advanced Graph Neural Networks被引用数 6

ひとこと要約

本稿では、分散型知識グラフにおける知識の外挿を目的としたメタラーニングベースのグラフニューラルネットワークフレームワーク、MaKErを提案する。未学習のエンティティおよび関係のゼロショット埋め込みを可能にし、既存のKGから生成した合成タスクでメタトレーニングすることで、関係およびエンティティの特徴表現を用いて一般化を学習する。関係位置グラフとGNNベースの符号化を用いることで、未学習のコンponentsにおいて、従来のインダクティブおよび一般的なKGEベースラインを最大2.11倍のMRRで上回る。

ABSTRACT

We study the knowledge extrapolation problem to embed new components (i.e., entities and relations) that come with emerging knowledge graphs (KGs) in the federated setting. In this problem, a model trained on an existing KG needs to embed an emerging KG with unseen entities and relations. To solve this problem, we introduce the meta-learning setting, where a set of tasks are sampled on the existing KG to mimic the link prediction task on the emerging KG. Based on sampled tasks, we meta-train a graph neural network framework that can construct features for unseen components based on structural information and output embeddings for them. Experimental results show that our proposed method can effectively embed unseen components and outperforms models that consider inductive settings for KGs and baselines that directly use conventional KG embedding methods.

研究の動機と目的

• データが分散化されており、プライバシーを保護する必要がある分散学習の制約下で、新たに出現する知識グラフにおける未学習のエンティティおよび関係の埋め込みを解決すること。
• 学習後、新しいエンティティや関係に一般化できない従来のKGEモデルの限界を克服すること。
• 分散環境下で、サポートトリプルからの構造的情報のみを用いて、未学習のコンponentsの知識を外挿できるモデルを設計すること。
• 既存および新規のKGのデータ共有や統合を必要とせずに、新規KGにおける効果的なリンク予測を可能にすること。

提案手法

• 既存のKGから抽出したタスクを用いて、未学習のコンponentsを有する新規KGにおけるリンク予測を模倣する形で、知識外挿タスクをメタラーニング問題として定式化する。
• 関係間の相対的位置関係を捉えるために、関係位置グラフ（RPG）を構築し、関係レベルの特徴表現を生成する。
• エンティティの接続性および近隣構造を符号化するエンティティ特徴表現モジュールを設計し、特徴学習を実現する。
• 関係およびエンティティの特徴を統合し、既知および未知のコンponentsを同時に符号化するGNNを用いて、一般化可能な埋め込みを生成する。
• 合成タスクの分布に対してGNNフレームワークをメタトレーニングすることで、推論時における未学習エンティティおよび関係への一般化能力を学習する。
• 各タスクがサポートトリプルとクエリトリプルから構成されるマルチタスク学習目的関数を用い、ゼロショット一般化のためのインダクティブバイアスを学習可能にする。

実験結果

リサーチクエスチョン

• RQ1 固定されたエンティティおよび関係のセットで学習した知識グラフ埋め込みモデルは、新たな出現するKGにおける未学習のエンティティおよび関係に一般化できるか？
• RQ2 データ共有やKGの統合を一切行わず、分散環境下で未学習のコンponentsを埋め込むには、どのようにすればよいか？
• RQ3 未学習のコンponentsにおける効果的なゼロショット知識外挿に不可欠なアーキテクチャ的要素は何か？
• RQ4 メタラーニングは、未学習のコンponentsを有する新規KGにおけるリンク予測の一般化課題を効果的にシミュレートできるか？

主な発見

• MaKErは、ベースライン比でu_bothトリプル（未学習のエンティティおよび関係）においてMRRで2.11倍、Hits@10で1.82倍の向上を達成した。
• u_relトリプル（未学習の関係のみ）において、MRRで0.56倍、Hits@10で1.02倍の向上を示し、未学習の関係への強力な一般化能力を確認した。
• アブレーションスタディの結果、メタラーニング設定を削除すると性能が最も著しく低下（MRR：50.31 → 38.83）し、一般化に果たすその重要性が裏付けられた。
• GNNモジュールは性能に不可欠であり、その削除によりMRRが38.83に低下した。これは、特徴の共同符号化が効果的な外挿に不可欠であることを示している。
• t-SNE可視化により、MaKErは未学習エンティティに対して意味的に意味のある、タイプに一貫性のあるクラスタリングを生成している一方、Asmp-KGEはエンティティタイプを分離できていない。
• RPGベースの関係特徴表現は、ベクトル空間内での類似した意味的関係のエンティティが近接して配置されることから、意味的類似性を捉えていることが確認された。