[논문 리뷰] Complex Evolutional Pattern Learning for Temporal Knowledge Graph Reasoning

Zixuan Li, Saiping Guan외 8명|arXiv (Cornell University)|2022. 03. 15.

Advanced Graph Neural Networks인용 수 8

한 줄 요약

이 논문은 시간 지식 그래프 추론을 위한 새로운 모델인 복소 진화 네트워크(CEN)를 제안한다. CEN은 진화 패턴의 길이 다양성과 시간 변동성을 동시에 고려하여, 길이 인지형 CNN와 커리큘럼 학습을 활용해 다양한 길이의 패턴을 포착하고, 시간적 정규화 단위를 갖춘 온라인 학습 설정을 통해 변화하는 패턴에 적응함으로써, 오프라인 및 온라인 설정 모두에서 ICEWS14, ICEWS18, WIKI에서 최고 성능을 달성한다.

ABSTRACT

A Temporal Knowledge Graph (TKG) is a sequence of KGs corresponding to different timestamps. TKG reasoning aims to predict potential facts in the future given the historical KG sequences. One key of this task is to mine and understand evolutional patterns of facts from these sequences. The evolutional patterns are complex in two aspects, length-diversity and time-variability. Existing models for TKG reasoning focus on modeling fact sequences of a fixed length, which cannot discover complex evolutional patterns that vary in length. Furthermore, these models are all trained offline, which cannot well adapt to the changes of evolutional patterns from then on. Thus, we propose a new model, called Complex Evolutional Network (CEN), which uses a length-aware Convolutional Neural Network (CNN) to handle evolutional patterns of different lengths via an easy-to-difficult curriculum learning strategy. Besides, we propose to learn the model under the online setting so that it can adapt to the changes of evolutional patterns over time. Extensive experiments demonstrate that CEN obtains substantial performance improvement under both the traditional offline and the proposed online settings.

연구 동기 및 목표

• 기존 TKG 추론 모델이 패턴 길이를 고정하고 오프라인으로 학습함으로써 변화하는 다양한 길이의 진화 패턴을 제대로 다루지 못하는 한계를 해결하기 위해.
• 다양한 길이의 시퀀스를 고려해 순차적 종속성을 포착할 수 있도록 길이 인지형 컨volution 신경망을 도입하여, 다양한 길이의 진화 패턴을 모델링하기 위해.
• 시간이 지남에 따라 변화하는 진화 패턴에 지속적으로 적응할 수 있도록 온라인 학습 설정에서 모델을 훈련시켜, 변화하는 패턴에 유연하게 대응하기 위해.
• 온라인 학습 중 치명적인 기억 상실을 완화하기 위해 이전 시기의 지식을 유지하는 시간 정규화 단위를 도입하기 위해.

제안 방법

• CEN은 역사적 KG 시퀀스를 맥락적 표현으로 인코딩하기 위해 관계 기반 그래프 컨volution 신경망(RGCN)을 활용한다.
• 길이 인지형 CNN은 다양한 길이의 시퀀스에서 진화 패턴을 추출하도록 설계되었으며, 커널이 시퀀스 길이에 따라 동적으로 조정된다.
• 훈련 안정성과 성능 향상을 위해 짧은 시퀀스에서 시작하여 점차 길이를 늘리는 커리큘럼 학습 전략을 적용한다.
• 모델은 새로운 타임스탬프에서 관측된 새로운 사실을 기반으로 점진적으로 미세조정되는 온라인 학습 설정에서 훈련된다.
• 온라인 업데이트 중 이전 기간의 지식을 유지함으로써 치명적인 기억 상실을 방지하기 위해 시간 정규화(TR) 단위를 도입한다.
• 모델 평가에는 오프라인 및 온라인 설정 모두에서 MRR 및 Hits@{1,3,10}를 사용하며, 공정한 비교를 보장하기 위해 시간 인지 필터링을 적용한다.

실험 결과

연구 질문

• RQ1 시간 지식 그래프에서 고정된 길이 시퀀스에 얽매이지 않고 다양한 길이의 진화 패턴을 효과적으로 학습할 수 있는가?
• RQ2 특히 이전 패턴과 다를 수 있는 새로운 패턴이 등장할 때, TKG 추론 모델은 시간이 지남에 따라 변화하는 진화 패턴에 어떻게 적응할 수 있는가?
• RQ3 시퀀스 길이 기반 커리큘럼 학습이 TKG 추론에서 진화 패턴 학습의 성능 및 안정성 향상에 기여하는가?
• RQ4 시간 정규화 단위를 갖춘 온라인 학습은 변화하는 데이터에서 성능 유지와 함께 치명적인 기억 상실을 어느 정도 완화하는가?
• RQ5 제안된 CEN 모델은 오프라인 및 온라인 TKG 추론 설정 모두에서 기존 최고 성능 모델들과 비교해 어떻게 성능을 냅니다?

주요 결과

• CEN은 전통적인 오프라인 설정에서 ICEWS14, ICEWS18, WIKI에서 모두 최고 성능을 기록했으며, MRR, Hits@3, Hits@10에서 모든 베이스라인을 능가한다.
• ICEWS 데이터셋에서 CEN은 TITer보다 Hits@3와 Hits@10에서 뛰어난 성능을 보였으며, 이는 다수의 다양한 길이 패턴에서 정보를 통합할 수 있기 때문이다.
• 온라인 설정에서 CEN은 CEN(-TR)을 크게 앞서며, 시간 정규화 단위가 지식 유지와 적응 간 균형을 잘 이루고 있음을 입증한다.
• WIKI 데이터셋에서는 CEN(-TR)이 CEN보다 더 우수한 성능을 보였으며, 이는 시간 간격이 크고 패턴이 매우 시간에 따라 변동성이 클 경우 TR 단위가 성능을 저해할 수 있음을 시사한다.
• 제거 실험 결과, 커리큘럼 학습과 길이 인지형 CNN이 모두 필수적임을 확인했으며, 둘 중 하나를 제거하면 성능이 크게 하락함으로써 이들의 기여도를 검증한다.