[논문 리뷰] Temporal Knowledge Graph Forecasting with Neural ODE

Zhen Han, Zifeng Ding외 3명|arXiv (Cornell University)|2021. 01. 13.

Advanced Graph Neural Networks참고 문헌 29인용 수 22

한 줄 요약

이 논문은 시간 지식 그래프(tKGs)에서 미래의 링크를 예측하기 위한 새로운 신경 미분방정식(NODE)-기반 모델인 TANGO를 제안한다. 다중관계적 그래프 컨볼루션 네트워크와 연속시간 ODE를 통합함으로써 TANGO는 시간에 따라 부드럽고 동적인 엔티티 및 관계 표현을 학습하고, 간선 형성과 해체를 명시적으로 모델링하기 위한 그래프 전이층을 도입하여 장기 예측 및 유추 링크 예측에 대해 다섯 가지 벤치마크 데이터셋에서 최고 성능을 달성한다.

ABSTRACT

There has been an increasing interest in inferring future links on temporal knowledge graphs (KG). While links on temporal KGs vary continuously over time, the existing approaches model the temporal KGs in discrete state spaces. To this end, we propose a novel continuum model by extending the idea of neural ordinary differential equations (ODEs) to multi-relational graph convolutional networks. The proposed model preserves the continuous nature of dynamic multi-relational graph data and encodes both temporal and structural information into continuous-time dynamic embeddings. In addition, a novel graph transition layer is applied to capture the transitions on the dynamic graph, i.e., edge formation and dissolution. We perform extensive experiments on five benchmark datasets for temporal KG reasoning, showing our model's superior performance on the future link forecasting task.

연구 동기 및 목표

• 기존 시간 지식 그래프(tKG) 방법에서의 이산 시간 모델링의 한계를 해결하기 위해, 비정규적인 시간 간격과 동적인 구조적 변화를 포착하지 못하는 문제를 해결한다.
• 시간에 따라 변화하는 다중관계적 그래프 데이터를 연속적인 시간에서 매끄럽게 모델링할 수 있는 연속 시간 표현 학습 프레임워크를 개발한다.
• 전용 그래프 전이층을 사용하여 간선 전이—형성과 해체—를 명시적으로 모델링하여 중요한 동적 사건의 예측 성능을 향상시킨다.
• 새로운 도전 과제인 장기 예측 수평 링크 예측과 유추 링크 예측을 평가하여, 미리 보지 못한 엔티티와 장기 예측에 대한 일반화 능력을 시험한다.
• 신경 ODE가 시간 추론을 위해 다중관계적 그래프 구조로 효과적으로 확장될 수 있음을 입증한다.

제안 방법

• 모델은 각 시간 단계에서 tKG 내의 구조적 의존성을 인코딩하기 위해 다중관계적 그래프 컨볼루션 네트워크(MGCN)를 사용한다.
• 엔티티 및 관계 표현의 연속 시간 진화를 모델링하기 위해 신경 미분방정식(NODE)을 사용하며, 시간를 네트워크의 깊이로 간주한다.
• ODE 해법기는 시간에 따라 은닉 상태를 통합하여 타임스탬프 간의 매끄러운 전이와 연속적인 동적 표현을 가능하게 한다.
• 간선 형성 및 삭제 이벤트를 인코딩한 전이 텐서를 처리하기 위해 그래프 전이층을 활용하여 모델이 변화하는 그래프 부분에 집중할 수 있도록 한다.
• 평가 시 시간 인식 필터링을 적용한 링크 예측 손실을 사용하여 엔드 투 엔드로 모델을 훈련한다. 이는 현실적인 성능 평가를 보장한다.
• 프레임워크는 전이 및 유추 링크 예측을 모두 지원하며, 연속 시간 역학을 통해 미리 보지 못한 노드로의 일반화를 가능하게 한다.

실험 결과

연구 질문

• RQ1 신경 ODE는 연속 시간에서 동적인 다중관계적 지식 그래프를 효과적으로 확장하여 모델링할 수 있는가?
• RQ2 형성과 해체를 명시적으로 모델링한 전이층을 도입할 경우, 표준 인접 텐서 입력에 비해 링크 예측 성능이 향상되는가?
• RQ3 훈련 간격보다 예측 간격 ΔT가 훨씬 큰 장기 수평 링크 예측에서 모델의 성능은 어떠한가?
• RQ4 학습 중에 보이지 않은 테스트 엔티티에 대해 모델이 유추 링크 예측에 일반화할 수 있는가?
• RQ5 TANGO의 연속 시간 모델링 방식은 이산 시간 기반 베이스라인 대비 시간 역학을 얼마나 잘 포착하는가?

주요 결과

• TANGO는 다섯 가지 벤치마크 시간 지식 그래프 데이터셋에서 최고 성능을 기록하며, 장기 예측 및 유추 링크 예측 과제에서 강력한 베이스라인인 RE-Net을 능가한다.
• 장기 예측 수평 링크 예측에서 TANGO는 RE-Net 대비 일관된 성능 우위를 유지하며, 예측 수평 ΔT가 증가할수록 성능 격차가 점차 줄어들지만, 이는 장기간 예측 간격에 대한 강건성을 시사한다.
• 제거 실험 결과 그래프 전이층을 제거하면 성능이 크게 악화되어, 동적 변화를 포착하는 데서 이 층의 핵심적 역할을 입증한다.
• 유추 링크 예측에서 TANGO-TuckER는 모든 지표에서 최고 성능을 기록하여, 미리 보지 못한 엔티티로의 강력한 일반화 능력을 보여준다.
• 모델의 연속 시간 공식화는 이산 시간 모델 대비 비정규적인 시간 간격과 시간 역학을 더 잘 모델링할 수 있다.
• 결과는 신경 ODE가 다중관계적 그래프 구조로 성공적으로 확장될 수 있으며, 시간에 따라 매끄럽고 미분 가능한 표현 진화를 가능하게 함을 확인한다.