[논문 리뷰] Learning to Sample and Aggregate: Few-shot Reasoning over Temporal Knowledge Graphs

Ruijie Wang, Zheng Li외 5명|arXiv (Cornell University)|2022. 10. 16.

Advanced Graph Neural Networks인용 수 22

한 줄 요약

이 논문은 MetaTKGR를 소개한다. 이는 PAC-Bayes 이론에 기초한 시간적 적응 규제기를 사용하여 시계열 이웃을 동적으로 샘플링하고 집계함으로써 새롭게 등장하는 엔티티의 미래 사실을 few-shot 시간적 지식 그래프 추론으로 예측하는 메타러닝 프레임워크이다.

ABSTRACT

In this paper, we investigate a realistic but underexplored problem, called few-shot temporal knowledge graph reasoning, that aims to predict future facts for newly emerging entities based on extremely limited observations in evolving graphs. It offers practical value in applications that need to derive instant new knowledge about new entities in temporal knowledge graphs (TKGs) with minimal supervision. The challenges mainly come from the few-shot and time shift properties of new entities. First, the limited observations associated with them are insufficient for training a model from scratch. Second, the potentially dynamic distributions from the initially observable facts to the future facts ask for explicitly modeling the evolving characteristics of new entities. We correspondingly propose a novel Meta Temporal Knowledge Graph Reasoning (MetaTKGR) framework. Unlike prior work that relies on rigid neighborhood aggregation schemes to enhance low-data entity representation, MetaTKGR dynamically adjusts the strategies of sampling and aggregating neighbors from recent facts for new entities, through temporally supervised signals on future facts as instant feedback. Besides, such a meta temporal reasoning procedure goes beyond existing meta-learning paradigms on static knowledge graphs that fail to handle temporal adaptation with large entity variance. We further provide a theoretical analysis and propose a temporal adaptation regularizer to stabilize the meta temporal reasoning over time. Empirically, extensive experiments on three real-world TKGs demonstrate the superiority of MetaTKGR over state-of-the-art baselines by a large margin.

연구 동기 및 목표

• 새로 등장하는 엔티티에 대한 few-shot 시간적 지식 그래프 추론이라는 현실적인 문제를 다룬다.
• 시간 이웃을 적응적으로 샘플링하고 집계하는 방법을 학습하는 프레임워크를 개발한다.
• 시간에 따른 일반화 성능을 향상시키기 위해 PAC-Bayes 기반의 정규화를 사용한 시간적 적응을 안정화한다.

제안 방법

• 최근 시간 창 내에서 최대 b개의 멀티-홉 시간 이웃을 샘플링하고 시간 인식 주의를 통해 집계하는 시간 인코더를 도입한다 ( Equations 3-4 ).
• few-shot 시간 KG 추론을 inner-fine-tuning on support, outer meta-optimization on query로 이중 수준 메타러닝 문제로 공식화한다.
• 예측을 위한 변환 기반 점수 s(e, r, e', t)를 적용한다 (Equation 2).
• MAML 스타일의 내부/외부 업데이트(Eq. 6-9)로 학습하고 hinge loss(Eq. 5)로 음수 샘플링을 사용한다.
• 시간에 걸친 안정성을 보장하기 위해 PAC-Bayes 기반의 시간적 적응 정규화(Eq. 7-9)을 도입한다.

실험 결과

연구 질문

• RQ1 새로 등장하는 엔티티에 대한 evolving한 시계적 지식 그래프에서 단 몇 개의 관찰된 링크만으로 미래 사실을 효과적으로 추론할 수 있는가?
• RQ2 메타-시간 프레임워크가 새 엔티티의 시간 변화 분포에 적응하는 샘플링 및 집계 전략을 학습할 수 있는가?
• RQ3 PAC-Bayes에서 영감을 얻은 시간적 적응 정규화가 few-shot 시간 KG 추론의 교차 시간 일반화를 향상시키는가?

주요 결과

모델	YAGO MRR	YAGO H@1	YAGO H@10	WIKI MRR	WIKI H@1	WIKI H@10	ICEWS18 MRR	ICEWS18 H@1	ICEWS18 H@10
MetaTKGR	0.370*	0.303*	0.558*	0.329*	0.253*	0.489*	0.335*	0.249*	0.527*

• MetaTKGR는 3-shot 설정에서 세 가지 실제 TKG에서 강력한 기준선에 비해 최대 11.4%의 상대 향상을 달성한다.
• YAGO, WIKI, ICEWS18 전반에서 MetaTKGR는 일관되게 정적/시간 KG 기준선 및 다른 few-shot 방법보다 높은 성능을 보인다.
• 샘플링된 이웃과 시간 인식 주의를 활용한 시간 인코딩은 멀티-관계 그래프를 데이터가 적은 환경에서도 baselines인 MetaDyGNN보다 더 잘 다룬다.
• 시간 적응 정규화는 시간에 걸친 일반화를 개선하고 특정 구간에 대한 과적합을 줄인다.