[논문 리뷰] Few-Shot Inductive Learning on Temporal Knowledge Graphs using Concept-Aware Information

Zifeng Ding, Jingpei Wu외 4명|arXiv (Cornell University)|2022. 11. 15.

Advanced Graph Neural Networks인용 수 6

한 줄 요약

이 논문은 시간 지식 그래프(TKGs)를 위한 few-shot 유도 링크 예측 프레임워크를 제안하며, 처음으로 few-shot 외부 그래프(OOG) 링크 예측 작업을 도입한다. 시간에 민감한 그래프 인코더와 외부 지식 기반에서 유래한 개념 인식 정보를 활용한 메타학습 접근법을 사용하여, 세 가지 새로운 TKG 데이터셋에서 최신 기술 성능을 달성하였으며, 개념 인식 모델링 덕분에 뚜렷한 성능 향상을 이룩하였다.

ABSTRACT

Knowledge graph completion (KGC) aims to predict the missing links among knowledge graph (KG) entities. Though various methods have been developed for KGC, most of them can only deal with the KG entities seen in the training set and cannot perform well in predicting links concerning novel entities in the test set. Similar problem exists in temporal knowledge graphs (TKGs), and no previous temporal knowledge graph completion (TKGC) method is developed for modeling newly-emerged entities. Compared to KGs, TKGs require temporal reasoning techniques for modeling, which naturally increases the difficulty in dealing with novel, yet unseen entities. In this work, we focus on the inductive learning of unseen entities' representations on TKGs. We propose a few-shot out-of-graph (OOG) link prediction task for TKGs, where we predict the missing entities from the links concerning unseen entities by employing a meta-learning framework and utilizing the meta-information provided by only few edges associated with each unseen entity. We construct three new datasets for TKG few-shot OOG link prediction, and we propose a model that mines the concept-aware information among entities. Experimental results show that our model achieves superior performance on all three datasets and our concept-aware modeling component demonstrates a strong effect.

연구 동기 및 목표

• 기존 방법들이 볼 수 있는 엔티티에 대한 유도 편향으로 인해 새로 나타난, 알려지지 않은 엔티티의 링크를 예측하는 데 어려움을 겪는 문제를 해결한다.
• 인퍼런스 중에 알려지지 않은 엔티티당 몇 개의 엣지만 제공되는, TKGs를 위한 새로운 few-shot 외부 그래프(OOG) 링크 예측 작업을 제안한다.
• 시간 지식 기반에서 유래한 외부 엔티티 개념 정보를 활용하여, 알려지지 않은 엔티티의 유도 표현 학습을 향상시킨다.
• 보기 드문 지원 예제로도 알려지지 않은 엔티티로 일반화할 수 있도록, 보이는 엔티티에서의 지식을 전이하는 메타학습 프레임워크를 개발한다.
• TKG에서 few-shot OOG 링크 예측을 위한 세 가지 새로운 벤치마크 데이터셋—ICEWS14-OOG, ICEWS18-OOG, ICEWS0515-OOG—을 구축한다.

제안 방법

• 새로운 엔티티당 몇 개의 지원 4중항만을 사용하여, 보이는 엔티티에서 알려지지 않은 엔티티로 지식을 전이할 수 있는 메타학습 프레임워크를 설계한다.
• 시간적 맥락과 구조적 유사도를 기반으로 다양한 지원 4중항의 중요도를 동적으로 주시하는 시간에 민감한 그래프 인코더를 구현한다.
• 지식 기반에서 유래한 외부 엔티티 개념 정보를 개념 인식 모듈을 통해 모델에 통합하여 엔티티 개념의 의미적 표현을 학습한다.
• 모델이 여러 개의 few-shot 에피소드에서 훈련되도록 메타 최적화 전략을 적용하며, 각 에피소드는 다른 알려지지 않은 엔티티 세트와 적은 수의 지원 사실을 시뮬레이션한다.
• 시간에 민감한 인코더에서 유도된 맥락 기반 표현과 개념 인식 특징을 사용하여 후보 주어/객어 엔티티의 타당성 점수를 계산하는 점수 기반 링크 예측 헤드를 적용한다.
• 예를 들어 '정부', '외무부'와 같은 계층적 엔티티 개념을 활용하여 일반화 능력을 향상시키며, t-SNE 시각화를 통해 개념 표현의 의미적 군집화가 확인된다.

실험 결과

연구 질문

• RQ1 보기 드문 지원 엣지만을 사용하여 시간 지식 그래프에서 알려지지 않은 엔티티의 링크를 효과적으로 예측할 수 있는 few-shot 메타학습 프레임워크는 성능이 뛰어나게 작동하는가?
• RQ2 외부 엔티티 개념 정보를 통합할 경우, TKG에서 알려지지 않은 엔티티에 대한 유도 링크 예측 성능은 어느 정도 향상되는가?
• RQ3 알려지지 않은 엔티티의 지원 엣지 수(즉, 샷 크기)가 증가함에 따라 제안된 모델의 성능은 어떻게 변화하는가?
• RQ4 개념 인식 모델링 구성 요소는 일반화를 지원하는 의미적으로 유의미한 표현을 학습하는가?
• RQ5 인퍼런스 중에 다양한 샷 크기나 무작위로 선택된 지원 세트를 사용할 경우, 모델의 성능는 얼마나 견고한가?

주요 결과

• 제안된 FILT 모델은 새로 구축한 세 가지 데이터셋—ICEWS14-OOG, ICEWS18-OOG, ICEWS0515-OOG—모두에서 최신 기술 성능을 달성하였으며, Hits@1, Hits@3, Hits@10, MRR 모두에서 모든 베이스라인을 앞서나갔다.
• 3-shot 설정에서 ICEWS18-OOG에서 FILT는 MRR 0.321, Hits@1 0.240, Hits@10 0.475를 기록하여 다음으로 우수한 베이스라인보다 뚜렷이 뛰어난 성능을 보였다.
• 절단 실험 결과, 개념 인식 모듈을 제거할 경우 ICEWS14-OOG에서 MRR가 최대 0.045 감소하고 ICEWS18-OOG에서는 0.035 감소하여, 이 모듈의 핵심적 역할을 확인하였다.
• 크로스 샷 분석 결과, 샷 크수가 높을수록 성능이 향상되었으며, 5-shot 테스트에서 3-shot으로 훈련된 모델이 1-shot 모델보다 더 잘 일반화하는 것으로 나타났다.
• t-SNE 시각화 결과, 모델이 의미적으로 일관된 개념 표현을 학습하고 있음을 확인하였으며, 개념 군집이 의미 있는 그룹화를 이루고 있었다(예: '정당'과 '정부'가 서로 가까이 위치).
• 메타테스트 중에 무작위로 샷을 선택할 경우에도 모델은 성능 저하가 최소한이었으며, 이는 강력한 일반화 능력을 지녔음을 시사한다.