[논문 리뷰] Learning from History: Modeling Temporal Knowledge Graphs with Sequential Copy-Generation Networks

Cunchao Zhu, Muhao Chen외 3명|arXiv (Cornell University)|2020. 12. 15.

Advanced Graph Neural Networks참고 문헌 45인용 수 26

한 줄 요약

이 논문은 과거 패턴을 학습하여 미래 사실을 예측하기 위해 시간에 민감한 복사-생성 메커니즘을 활용하는 새로운 시간 지능 지식 그래프 임베딩 모델인 CyGNet을 제안한다. 기존의 알려진 과거 사실을 재사용하는 복사 모드와 새로운 예측을 위한 생성 모드를 결합함으로써, CyGNet은 여러 벤치마크에서 최신 기술 수준의 성능을 달성하여 GDELT에서 MRR을 10.80% 향상시키고 Hits@1을 12.10% 향상시켰다.

ABSTRACT

Large knowledge graphs often grow to store temporal facts that model the dynamic relations or interactions of entities along the timeline. Since such temporal knowledge graphs often suffer from incompleteness, it is important to develop time-aware representation learning models that help to infer the missing temporal facts. While the temporal facts are typically evolving, it is observed that many facts often show a repeated pattern along the timeline, such as economic crises and diplomatic activities. This observation indicates that a model could potentially learn much from the known facts appeared in history. To this end, we propose a new representation learning model for temporal knowledge graphs, namely CyGNet, based on a novel timeaware copy-generation mechanism. CyGNet is not only able to predict future facts from the whole entity vocabulary, but also capable of identifying facts with repetition and accordingly predicting such future facts with reference to the known facts in the past. We evaluate the proposed method on the knowledge graph completion task using five benchmark datasets. Extensive experiments demonstrate the effectiveness of CyGNet for predicting future facts with repetition as well as de novo fact prediction.

연구 동기 및 목표

• 과거 사실 패턴을 활용하여 시간 지능 지식 그래프(TKG)의 불완전성을 해결하기 위한 시간에 민감한 표현 학습 모델을 개발하는 것.
• 경제적 위기나 외교 활동과 같이 실제 동적 환경에서 흔한 반복적인 시간적 사실을 명시적으로 모델링하여 TKG 내 미래 사실 예측을 향상시키는 것.
• 기존 사실의 복사 기반 추론과 새로운 어휘 공간에서의 생성 기반 추론을 통합한 유일한 프레임워크를 설계하는 것.
• 특히 높은 반복률과 풍부한 역사적 데이터를 가진 시나리오에서 벤치마크 데이터셋에 대한 모델의 효과성을 평가하는 것.

제안 방법

• CyGNet은 복사 모드와 생성 모드로 구성된 이중 모드 추론 메커니즘을 사용하여, 기존에 알려진 과거 사실을 참조하거나 전체 엔티티 어휘에서 생성함으로써 사실을 예측할 수 있도록 한다.
• 복사 모드는 시간에 민감한 어텐션 메커니즘을 사용하여 동일한 주어-관계 쌍에서 이전에 관측된 사실을 기반으로 미래 사실을 식별하고 예측하며, 개괄 요약에서의 복사 메커니즘을 모방한다.
• 생성 모드는 전체 개방형 어휘에서 엔티티를 예측하여, 모델이 이전에 보지 못한 새로운 사실에 일반화할 수 있도록 보장한다.
• 최종 예측은 두 모드의 가중 조합으로 이루어지며, 이로써 모델은 기존 패턴을 재사용하는 것과 새로운 사실을 생성하는 것 사이에 동적으로 균형을 이룰 수 있다.
• 모델는 엔티티 간 링크 예측 성능을 최적화하기 위해 음성 샘플링 전략을 사용하여 엔드 투 엔드로 훈련된다.
• 모델 아키텍처는 시간에 민감한 엔티티 및 관계 임베딩를 통해 시간적 동적 변화를 반영하여 장기적 의존성을 모델링할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 지식 그래프 표현 모델이 과거 사실을 효과적으로 학습하여 시간 지능 지식 그래프 내 미래 사실 예측 성능을 향상시킬 수 있는가?
• RQ2 시간적 반복 패턴을 모델링하는 것이 동적 환경에서 지식 그래프 완성 성능에 어떤 영향을 미치는가?
• RQ3 복사 기반 예측과 개방형 어휘 생성을 조합함으로써 반복 인식 및 새로운 사실 예측 성능이 얼마나 향상되는가?
• RQ4 다양한 데이터셋에서 주어진 엔티티와 목적어의 반복률 변화에 따라 모델의 성능은 어떻게 변화하는가?
• RQ5 복사 모드와 생성 모드 중 어느 것이 전체 예측 성능에 더 큰 기여를 하는가?

주요 결과

• CyGNet은 다섯 개의 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성하였으며, GDELT 데이터셋에서 이전 최고 성능 모델 대비 MRR은 10.80% 향상되고 Hits@1은 12.10% 향상되었다.
• ICEWS18에서 CyGNet은 MRR 46.69%를 기록하였고, 복사 모드를 제거하면 MRR가 12.11% 감소하여 과거 사실 재사용의 핵심적 역할을 확인하였다.
• 제거 실험 결과, 생성 모드를 제거하면 MRR이 4.09% 감소하여, 새로운 사실 예측을 위한 생성 모드의 중요성을 확인하였다.
• CyGNet은 균형 잡힌 반복률을 보이는 데이터셋(예: ICEWS14, ICEWS18)에서 뚜렷한 성능 향상을 보였으며, WIKI에서는 주어와 목적어 간 반복률의 불균형으로 인해 한계를 보였다.
• 복사 기능을 생성 단계에서 제거한 변형 모델인 CyGNet -Generation-new는 전체 모델보다 성능이 열 劣하므로, 원래 설계가 복사와 생성을 모두 효과적으로 활용함을 시사한다.
• CyGNet의 GDELT에서 뛰어난 성능은 더 풍부한 역사적 사실 덕분으로, 이는 복사 메커니즘이 더 많은 기반 정보를 확보할 수 있도록 했다.