[論文レビュー] Few-Shot Inductive Learning on Temporal Knowledge Graphs using Concept-Aware Information

Zifeng Ding, Jingpei Wu+4 more|arXiv (Cornell University)|Nov 15, 2022

Advanced Graph Neural Networks被引用数 6

ひとこと要約

本稿は、時系列知識グラフ（TKG）のためのFew-shotインダクティブリンク予測フレームワークを提案し、初めてのFew-shot Out-of-Graph（OOG）リンク予測タスクを導入する。時間に適応したグラフエンコーダーと外部知識ベースからの概念に適応した情報を利用したメタラーニングアプローチを採用し、3つの新しいTKGデータセットで最先端の性能を達成。概念に適応したモデリングによる顕著な向上が得られた。

ABSTRACT

Knowledge graph completion (KGC) aims to predict the missing links among knowledge graph (KG) entities. Though various methods have been developed for KGC, most of them can only deal with the KG entities seen in the training set and cannot perform well in predicting links concerning novel entities in the test set. Similar problem exists in temporal knowledge graphs (TKGs), and no previous temporal knowledge graph completion (TKGC) method is developed for modeling newly-emerged entities. Compared to KGs, TKGs require temporal reasoning techniques for modeling, which naturally increases the difficulty in dealing with novel, yet unseen entities. In this work, we focus on the inductive learning of unseen entities' representations on TKGs. We propose a few-shot out-of-graph (OOG) link prediction task for TKGs, where we predict the missing entities from the links concerning unseen entities by employing a meta-learning framework and utilizing the meta-information provided by only few edges associated with each unseen entity. We construct three new datasets for TKG few-shot OOG link prediction, and we propose a model that mines the concept-aware information among entities. Experimental results show that our model achieves superior performance on all three datasets and our concept-aware modeling component demonstrates a strong effect.

研究の動機と目的

• 時系列知識グラフ（TKG）において、既に観測されたエンティティに偏ったインダクティブバイアスを持つ従来の手法が、新しく出現した未観測エンティティのリンク予測を処理できないという課題に対処する。
• 推論時に各未観測エンティティに対して僅か数個のエッジしか利用できない、時系列知識グラフ（TKG）のための新しいFew-shot Out-of-Graph（OOG）リンク予測タスクを提案する。
• 時系列知識ベースからの外部エンティティ概念情報を利用することで、未観測エンティティのインダクティブ表現学習を向上させる。
• 見慣れないエンティティに最小限のサポート例で一般化できるように、既知のエンティティから知識を転送するメタラーニングフレームワークを開発する。
• Few-shot OOGリンク予測のための3つの新しいベンチマークデータセット—ICEWS14-OOG、ICEWS18-OOG、ICEWS0515-OOG—を構築する。

提案手法

• 各新規エンティティに対してわずか数個のサポート四元組しか利用できない状況でも、既知のエンティティから未観測エンティティへ知識を転送できるメタラーニングフレームワークを設計する。
• 時間的文脈と構造的近接性に基づいて、異なるサポート四元組の重要性を動的に注目する時間に適応したグラフエンコーダーを実装する。
• 外部知識ベースからのエンティティ概念情報を、エンティティ概念の意味的表現を学習する概念に適応したモジュールを介してモデルに統合する。
• メタ最適化戦略を採用し、複数のFew-shotエピソードでモデルを訓練する。各エピソードは、わずかなサポート事実を有する異なる未観測エンティティのセットを模倣する。
• 時間に適応したエンコーダーからの文脈に適応した表現と概念に適応した特徴を用いて、候補となる主語／目的語エンティティの妥当性スコアを計算するスコアベースのリンク予測ヘッドを適用する。
• 階層的なエンティティ概念（例：'政府'、'外務省'）を活用して一般化性能を向上させ、t-SNE可視化により概念表現の意味的クラスタリングが確認された。

実験結果

リサーチクエスチョン

• RQ1 わずか数個のサポートエッジしか利用できない状況でも、Few-shotメタラーニングフレームワークが未観測エンティティのリンク予測を効果的に実行できるか。
• RQ2 外部エンティティ概念情報の統合が、TKGにおける未観測エンティティのインダクティブリンク予測性能にどの程度向上効果をもたらすか。
• RQ3 未観測エンティティのサポートエッジ数（ショットサイズ）が増加するに従って、提案モデルの性能がどのように変化するか。
• RQ4 概念に適応したモデリングモジュールが、一般化を支援する意味的に整合性のある表現を学習しているか。
• RQ5 推論時にショットサイズが変動したり、ランダムに選択されたサポートセットが使用された場合、モデルの性能はどの程度頑健か。

主な発見

• 提案されたFILTモデルは、新しく構築された3つのデータセット—ICEWS14-OOG、ICEWS18-OOG、ICEWS0515-OOG—において、すべてのベースラインを上回る最先端の性能を達成。Hits@1、Hits@3、Hits@10、MRRのすべての指標で優れた結果を示した。
• 3ショット設定のICEWS18-OOGでは、MRRが0.321、Hits@1が0.240、Hits@10が0.475を達成し、次善のベースラインを顕著に上回った。
• アブレーションスタディの結果、概念に適応したモジュールを削除すると、ICEWS14-OOGではMRRが最大0.045低下し、ICEWS18-OOGでは0.035低下した。これにより、そのモジュールの重要性が確認された。
• クロスショット分析により、ショットサイズが高くなるほど性能が向上し、5ショットでテストされた際、3ショットで学習したモデルが1ショットで学習したモデルよりも優れた一般化性能を示した。
• t-SNE可視化により、モデルが意味的に整合性のある概念表現を学習していることが確認され、概念クラスタが意味的なグループ（例：'政党'と'政府'が近接）を形成していた。
• メタテスト時のランダムなショットサンプリングに対しても、モデルは最小限の性能低下を示し、強い一般化能力を有していることが示された。