[논문 리뷰] T-GAP: Learning to Walk across Time for Temporal Knowledge Graph Completion

Jaehun Jung, Jinhong Jung외 1명|arXiv (Cornell University)|2020. 12. 19.

Advanced Graph Neural Networks참고 문헌 27인용 수 10

한 줄 요약

T-GAP는 쿼리 타임스탬프 기반으로 관련된 과거 및 미래 사건에 동적으로 집중함으로써 시간 인식 지식 그래프에서의 추론을 향상시키기 위해 쿼리별 시간 이동과 주의 기반 경로 전파를 활용하는 새로운 시간 지식 그래프 완성 모델을 제안한다. 이는 상태의 최고 성능(SOTA)을 달성하고 해석 가능성도 뛰어나다.

ABSTRACT

Temporal knowledge graphs (TKGs) inherently reflect the transient nature of real-world knowledge, as opposed to static knowledge graphs. Naturally, automatic TKG completion has drawn much research interests for a more realistic modeling of relational reasoning. However, most of the existing mod-els for TKG completion extend static KG embeddings that donot fully exploit TKG structure, thus lacking in 1) account-ing for temporally relevant events already residing in the lo-cal neighborhood of a query, and 2) path-based inference that facilitates multi-hop reasoning and better interpretability. In this paper, we propose T-GAP, a novel model for TKG completion that maximally utilizes both temporal information and graph structure in its encoder and decoder. T-GAP encodes query-specific substructure of TKG by focusing on the temporal displacement between each event and the query times-tamp, and performs path-based inference by propagating attention through the graph. Our empirical experiments demonstrate that T-GAP not only achieves superior performance against state-of-the-art baselines, but also competently generalizes to queries with unseen timestamps. Through extensive qualitative analyses, we also show that T-GAP enjoys from transparent interpretability, and follows human intuition in its reasoning process.

연구 동기 및 목표

• 시간 지식 그래프(TKG)의 시간 역학성과 구조적 맥락을 포착하는 데에 한계가 있는 기존 정적 지식 그래프 임bedding 모델의 문제점을 해결한다.
• 쿼리 타임스탬프와의 시간 이동을 고려한 쿼리 관련 서브구조를 인코딩하여 TKG 완성을 향상시킨다.
• 그래프 구조를 통해 소프트한 주의 기반 전파를 통해 경로 기반 추론을 가능하게 하여 해석 가능성과 다단계 추론 능력을 향상시킨다.
• 절대 타임스탬프가 아닌 상대적 시간 위치를 모델링하여 예측되지 않은 쿼리 타임스탬프에 대한 일반화를 보장한다.
• 시간 인식 경로 상의 주의 분포 분 析를 통해 투명하고 인간이 직관적으로 이해할 수 있는 추론을 제공한다.

제안 방법

• 각 간선과 쿼리 타임스탬프 사이의 시간 이동의 부호(과거/현재/미래)와 크기를 별도로 인코딩하는 시간 지식 그래프 신경망(GNN) 인코더를 도입한다.
• 쿼리에 특화된 주의를 사용하여 주변 정보를 집계하고 쿼리 시간과 시간적으로 관련된 사건에 집중한다.
• 주의 흐름 전파를 통해 소프트한 경로 기반 추론 메커니즘을 구현하며, 주의가 경로를 단일 선택이 아닌 이웃 노드로 확산되도록 한다.
• 엔드 투 엔드로 지도 학습을 사용하여 인코딩 및 디코딩 구성 요소를 함께 최적화한다.
• 주어진 간선을 따라 주의를 전파함으로써 다단계 추론을 통해 초기 선택이 비최적일 경우 이를 수정할 수 있도록 시간 추론을 모델링한다.
• 시간적 일관성과 맥락적 관련성을 갖춘 사실을 주의 집중에 이르게 하기 위해 시간적 관계 기호(예: occurSince, occurUntil)를 사용해 관계 의미를 인코딩한다.

실험 결과

연구 질문

• RQ1 이벤트와 쿼리 타임스탬프 사이의 상대적 시간(시간 이동)을 모델링하면 TKG 완성 모델의 성능 향상에 기여하는가?
• RQ2 정적 임베딩 모델에 비해 주의 기반 경로 전파가 시간 지식 그래프에서 더 효과적이고 해석 가능한 다단계 추론을 가능하게 하는가?
• RQ3 상대적 시간 위치에 기반하여 예측되지 않은 타임스탬프를 가진 쿼리에 대해 TKG 모델이 일반화할 수 있는가?
• RQ4 T-GAP의 주의 분포가 시간 관계 추론에서 인간과 유사한 추론 패턴을 어느 정도 반영하는가?
• RQ5 T-GAP의 주의 메커니즘이 추론 과정에서 초기 경로 선택 오류를 어떻게 수정하는가?

주요 결과

• T-GAP는 ICEWS14, ICEWS15, YAGO15K의 세 가지 벤치마크 데이터셋 전반에서 최신 기준(SOTA) 성능을 달성하며 기존 SOTA 모델을 능가한다.
• 예측되지 않은 타임스탬프를 가진 쿼리에 대해 효과적으로 일반화되어 시간 쿼리의 분포 변화에 강건함을 입증한다.
• 정성적 분석 결과 T-GAP의 주의 분포는 매우 해석 가능하며, 과거의 위협이나 미래의 소속 관계와 같은 시간적으로 관련된 사건에 주의가 집중됨을 보여준다.
• 사례 연구에서 T-GAP는 다단계 주의 전파를 통해 초기 잘못된 판단을 수정한다. 예를 들어 지리정치적 위협 쿼리에서 일본에서 한국으로 주의를 이동시키는 식이다.
• member_of_sports_team-occurUntil과 같은 관계에서는 과거 사건을 우선시하여 마지막 알려진 소속 관계를 찾는 데 인간의 직관과 일치한다.
• educated_at-occurSince와 같은 관계에서는 미래 사건에 주의를 집중하여 쿼리 시간 이후 첫 번째 기관을 정확히 식별함으로써 시간 논리와의 일치를 보여준다.