[논문 리뷰] xERTE: Explainable Reasoning on Temporal Knowledge Graphs for Forecasting Future Links

Zhen Han, Peng Chen외 2명|arXiv (Cornell University)|2020. 12. 31.

Advanced Graph Neural Networks참고 문헌 44인용 수 18

한 줄 요약

xERTE는 시간 지식 그래프의 미래 링크 예측을 위한 새로운 해석 가능한 추론 프레임워크로, 시간적 관계 그래프 주의 메커니즘과 역방향 표현 업데이트 방식을 사용해 쿼리 관련 부분 그래프를 반복적으로 확장한다. 이는 상태의 최고 성능을 달성하며 Hits@1에서 최대 20%의 상대적 향상을 이끌어내며, 구조적 부분 그래프 추론과 시각화된 주의 메커니즘을 통해 인간이 이해할 수 있는 증거를 제공한다.

ABSTRACT

Modeling time-evolving knowledge graphs (KGs) has recently gained increasing interest. Here, graph representation learning has become the dominant paradigm for link prediction on temporal KGs. However, the embedding-based approaches largely operate in a black-box fashion, lacking the ability to interpret their predictions. This paper provides a link forecasting framework that reasons over query-relevant subgraphs of temporal KGs and jointly models the structural dependencies and the temporal dynamics. Especially, we propose a temporal relational attention mechanism and a novel reverse representation update scheme to guide the extraction of an enclosing subgraph around the query. The subgraph is expanded by an iterative sampling of temporal neighbors and by attention propagation. Our approach provides human-understandable evidence explaining the forecast. We evaluate our model on four benchmark temporal knowledge graphs for the link forecasting task. While being more explainable, our model obtains a relative improvement of up to 20% on Hits@1 compared to the previous best KG forecasting method. We also conduct a survey with 53 respondents, and the results show that the evidence extracted by the model for link forecasting is aligned with human understanding.

연구 동기 및 목표

• 시간 지식 그래프 링크 예측을 위한 블랙박스 기반 임bedding 모델의 해석 불가능성 문제를 해결한다.
• 쿼리 주변의 압축되고 증거가 풍부한 부분 그래프를 추출하여 투명하고 인간이 이해할 수 있는 추론을 가능하게 한다.
• 지식 그래프 내의 구조적 종속성과 시간적 동역학을 모델링하여 예측 정확도를 향상시킨다.
• 새로 추가된 이전 이웃으로부터 메시지를 수신할 수 있도록 부분 그래프 내 엔티티가 인간의 추론 방식을 모방하도록 한다.
• 예측 성능를 유지하면서도 인과적이고 시간 제약이 있는 추론을 지원하는 프레임워크를 개발한다.

제안 방법

• 쿼리 타임스탬프 이전에 연결된 이전 시간적 이웃(즉, 과거 이웃)에서만 메시지를 집계하는 시간적 관계 그래프 주의(TRGA) 메커니즘을 제안하여 인과성을 유지한다.
• 가장 먼 이전 이웃에서부터 모든 엔티티로 메시지를 전파하는 역방향 표현 업데이트 방식을 도입하여 동적 믿음 업데이트를 가능하게 한다.
• 정적 엔티티 임베딩과 기능적 시간 인코딩을 조합한 하이브리드 엔티티 임베딩 모듈을 사용하여 구조적 및 시간적 동역학을 모델링한다.
• TRGA 메커니즘의 주의 점수를 기반으로 관련 엣지를 샘플링하고 주의 점수가 낮은 경로를 제거하여 반복적으로 부분 그래프를 확장한다.
• 주어진 쿼리(주어, 서술어, ?, 타임스탬프)에서 누락된 목적어를 예측하기 위해 주의를 부분 그래프를 통해 전파하는 추론 경로를 구성한다.
• 메시지 전파가 이른 시점에서 늦은 시점으로만 이루어지도록 제약을 두어 시간적 일관성을 확보하고, 추론의 인과적 순서를 유지한다.

실험 결과

연구 질문

• RQ1 부분 그래프 기반 추론 프레임워크는 시간 지식 그래프의 링크 예측에서 높은 예측 성능를 달성하면서도 인간이 이해할 수 있는 설명을 제공할 수 있는가?
• RQ2 시간 인식 주의 메커니즘을 통합함으로써 모델은 시간적 동역학과 인과적 종속성을 얼마나 잘 포착할 수 있는가?
• RQ3 역방향 표현 업데이트 메커니즘이 먼 이전 이웃으로부터 새로운 증거를 통합할 수 있도록 해서 추론의 완전성을 얼마나 향상시키는가?
• RQ4 모델이 생성한 설명은 인간의 시간적 추론 이해와 얼마나 잘 일치하는가?
• RQ5 시간 인코딩은 주의 점수와 추론 과정의 해석 가능성에 어떤 영향을 미치는가?

주요 결과

• xERTE는 이전 최고 성능 모델 대비 시간 지식 그래프 링크 예측에서 Hits@1에서 최대 20%의 상대적 향상을 달성한다.
• 모델이 생성한 부분 그래프 기반 설명은 설문 조사에 응답한 53명의 평가자들이 확인한 바와 같이 인간의 이해와 매우 높은 일치도를 보이며, 증거의 관련성과 해석 가능성 모두 뛰어나다.
• 시간 인코딩을 사용할 경우 시간 인식 주의 점수가 훨씬 더 해석 가능하고 시간적으로 일관되며, 최근 사건일수록 더 높은 주의 점수를 받는다.
• 시간 인코딩 없이 사용할 경우 동일한 삼중항에 대해 다른 타임스탬프에서 주의 점수가 무작위적이며 일관성이 없어지며, 이는 해석 가능성에 악영향을 미친다.
• 역방향 표현 업데이트 메커니즘이 새로 추가된 이전 이웃으로부터 증거를 더 효과적으로 전파하여 추론의 완전성을 향상시킨다.
• 제거 실험 결과 시간 인코딩이 시간적 동역학을 모델링하는 데 필수적임을 확인하였으며, 이를 제거할 경우 비직관적이고 불안정한 주의 패tern이 나타난다.