[論文レビュー] Learning to Sample and Aggregate: Few-shot Reasoning over Temporal Knowledge Graphs

Ruijie Wang, Zheng Li+5 more|arXiv (Cornell University)|Oct 16, 2022

Advanced Graph Neural Networks被引用数 22

ひとこと要約

本論文は MetaTKGR を提案する。少数ショットの時系列知識グラフ推論のためのメタ学習フレームワークで、新たに出現するエンティティの将来の事実を、PAC-Bayes 理論に基づく時期適応正則化項を用いて、動的にサンプリングおよび集約する時系列近傍を用いて予測する。

ABSTRACT

In this paper, we investigate a realistic but underexplored problem, called few-shot temporal knowledge graph reasoning, that aims to predict future facts for newly emerging entities based on extremely limited observations in evolving graphs. It offers practical value in applications that need to derive instant new knowledge about new entities in temporal knowledge graphs (TKGs) with minimal supervision. The challenges mainly come from the few-shot and time shift properties of new entities. First, the limited observations associated with them are insufficient for training a model from scratch. Second, the potentially dynamic distributions from the initially observable facts to the future facts ask for explicitly modeling the evolving characteristics of new entities. We correspondingly propose a novel Meta Temporal Knowledge Graph Reasoning (MetaTKGR) framework. Unlike prior work that relies on rigid neighborhood aggregation schemes to enhance low-data entity representation, MetaTKGR dynamically adjusts the strategies of sampling and aggregating neighbors from recent facts for new entities, through temporally supervised signals on future facts as instant feedback. Besides, such a meta temporal reasoning procedure goes beyond existing meta-learning paradigms on static knowledge graphs that fail to handle temporal adaptation with large entity variance. We further provide a theoretical analysis and propose a temporal adaptation regularizer to stabilize the meta temporal reasoning over time. Empirically, extensive experiments on three real-world TKGs demonstrate the superiority of MetaTKGR over state-of-the-art baselines by a large margin.

研究の動機と目的

• 新しく出現するエンティティに対する少数ショット時系列知識グラフ推論という現実的な問題に対処する。
• 時系列近傍を適応的にサンプリング・集約する方法を学習するフレームワークを開発する。
• 時間を超えた一般化を改善するために、PAC-Bayes ベースの正則化項で時系列適応を安定化させる。

提案手法

• 最近の時間窓内で最大 b 個のマルチホップの時系列近傍をサンプルし、それらを時刻依存のアテンションで集約する時間エンコーダを導入する（式3-4）。
• 少数ショットの時系列 KG 推論を二層のメタ学習問題として定式化する（サポート上の内側微調整、クエリ上の外側メタ最適化）。
• 予測には翻訳型スコア s(e, r, e', t) を適用する（式2）。
• MAMLスタイルの内側/外側更新（式6-9）で訓練し、ヒンジ損失を用いたネガティブサンプリングを使用する（式5）。
• 時間を超えた安定性を課すために、PAC-Bayes に基づく時系列適応正則化項を取り入れる（式7-9）。

実験結果

リサーチクエスチョン

• RQ1 進化する時系列知識グラフにおいて、観測リンクが少ない新規エンティティの将来の事実をどのように効果的に推論できるか？
• RQ2 新規エンティティの時系列分布の時間的変化に適応するサンプリングと集約戦略を学習するメタ時系列フレームワークは実現できるか？
• RQ3 PAC-Bayes に触発された時系列適応正則化項は、少数ショット時系列 KG 推論における時間横断一般化を改善するか？

主な発見

モデル	YAGO MRR	YAGO H@1	YAGO H@10	WIKI MRR	WIKI H@1	WIKI H@10	ICEWS18 MRR	ICEWS18 H@1	ICEWS18 H@10
MetaTKGR	0.370*	0.303*	0.558*	0.329*	0.253*	0.489*	0.335*	0.249*	0.527*

• MetaTKGR は 3-shot 設定で、3 つの実世界の TKG に対して強力なベースラインより最大で相対 11.4% の改善を達成。
• YAGO、WIKI、ICEWS18 全体で、MetaTKGR は静的/時系列 KG のベースラインや他の少数ショット手法を一貫して上回る。
• サンプルされた近傍と時刻依存アテンションを用いた時系列エンコーディングは、MetaDyGNN などのベースラインよりも低データ領域で多関係グラフの扱いに優れる。
• 時系列適応正則化は時間を超えた一般化を改善し、特定の区間への過学習を減らす。