[논문 리뷰] TeMP: Temporal Message Passing for Temporal Knowledge Graph Completion

Jiapeng Wu, Meng Cao외 2명|arXiv (Cornell University)|2020. 10. 07.

Advanced Graph Neural Networks참고 문헌 36인용 수 16

한 줄 요약

TeMP는 그래프 신경망과 시간적 메시지 전파를 결합하여 다단계 구조적 사실과 시간에 따라 변하는 사실을 활용하는 새로운 프레임워크를 제안한다. 주파수 기반 게이팅과 데이터 보정을 통합함으로써, 세 가지 벤치마크 데이터셋에서 Hits@10 평균 10.7% 향상률을 기록하며 이전 최고 성능 모델을 초월한다.

ABSTRACT

Inferring missing facts in temporal knowledge graphs (TKGs) is a fundamental and challenging task. Previous works have approached this problem by augmenting methods for static knowledge graphs to leverage time-dependent representations. However, these methods do not explicitly leverage multi-hop structural information and temporal facts from recent time steps to enhance their predictions. Additionally, prior work does not explicitly address the temporal sparsity and variability of entity distributions in TKGs. We propose the Temporal Message Passing (TeMP) framework to address these challenges by combining graph neural networks, temporal dynamics models, data imputation and frequency-based gating techniques. Experiments on standard TKG tasks show that our approach provides substantial gains compared to the previous state of the art, achieving a 10.7% average relative improvement in Hits@10 across three standard benchmarks. Our analysis also reveals important sources of variability both within and across TKG datasets, and we introduce several simple but strong baselines that outperform the prior state of the art in certain settings.

연구 동기 및 목표

• 시간 지식 그래프(TKG)에서 다단계 구조적 및 시간적 의존성을 포착하는 데에 기존 방법의 한계를 해결하기 위해.
• 엔티티 활동과 참조 정보가 시간에 따라 변동하는 시간적 희소성과 변동성 문제를 다루기 위해.
• 최근 스냅샷에서 시간 역학과 구조적 전파를 명시적으로 모델링하여 예측 성능을 향상시키기 위해.
• 희소한 시간 설정에서 비활성 또는 빈도가 낮은 엔티티를 효과적으로 표현하기 위한 강력한 기법 개발을 위해.
• 메시지 전파, 시간 모델링, 데이터 보정을 통합한 통합 프레임워크를 구축하기 위해.

제안 방법

• 각 시간 단계에서 엔티티와 관계 간의 다단계 구조적 정보를 집계하기 위해 그래프 신경망(GNNs)을 활용한다.
• 이웃하는 시간 단계 간에 표현을 전파하여 시간 역학을 포착하기 위해 시간적 메시지 전파를 통합한다.
• 엔티티와 관계의 발생 빈도에 따라 과거 사실의 기여도를 동적으로 가중하기 위해 주파수 기반 게이팅을 적용한다.
• 시간 단계 전반에 걸쳐 비활성 또는 빈도가 낮은 엔티티의 대표 임베딩을 생성하기 위해 데이터 보정 기법을 사용한다.
• GNN 기반의 구조적 인코딩과 시간 인식 스코어링 함수를 조합하여 (주어진, 관계, 목적어, 타임스탬프) 사각형 형태의 누락된 사실을 예측한다.
• 음성 샘플링 비율 500을 사용하여 최적화하고, 표준 TKGC 벤치마크에서 백프로파게이션을 통해 엔드 투 엔드로 훈련한다.

실험 결과

연구 질문

• RQ1 다단계 구조적 및 시간적 정보를 통합함으로써 정적 또는 얕은 시간 모델 대비 TKGC 성능 향상 정도는 어떠한가?
• RQ2 주파수 기반 게이팅과 데이터 보정이 실제 TKG에서 시간적 희소성과 변동성의 영향을 어느 정도 완화하는가?
• RQ3 메시지 전파, 게이팅, 보정과 같은 모델 구성 요소가 시간 희소성 수준이 다른 데이터셋에서 각각 어떻게 다르게 기여하는가?
• RQ4 시간적 근접성과 사실 복사 기능을 갖춘 단순한 규칙 기반 베이스라인인 TED가 특정 설정에서 더 복잡한 모델을 능가할 수 있는가?
• RQ5 TGK에서 성능과 일반화에 영향을 주는 주요 변동 요인은 무엇인가?

주요 결과

• TeMP는 ICEWS14, ICEWS05-15 및 GDELT와 같은 세 가지 표준 벤치마크에서 Hits@10 평균 10.7% 향상률을 기록하며 이전 최고 성능 모델을 능가한다.
• 동일한 벤치마크에서 다음 최고 성능 모델 대비 Hits@10 평균 7.3% 향상률을 기록하여 강력한 일반화 능력을 입증한다.
• 세부적인 아블레이션 연구 결과, 메시지 전파와 주파수 기반 게이팅이 특히 저희소 시간 환경에서 크게 기여하는 것으로 확인되었다.
• 제안된 TED 규칙 기반 베이스라인이 특정 설정에서 여러 복잡한 모델을 능가함으로써 시간적 근접성과 사실 복사의 중요성을 강조한다.
• 분석 결과, 시간 희소성(각 시간 단계에서 활성 엔티티 비율이 2–4%에 불과함)이 모델 성능과 구성 요소의 효과성에 상당한 영향을 미친다.
• 데이터 보정은 빈도가 낮고 비활성인 엔티티의 표현 품질을 효과적으로 향상시켜 그래프의 희소 영역에서의 성능 저하를 줄인다.