[논문 리뷰] Temporal Knowledge Graph Reasoning with Historical Contrastive Learning

Yi Xu, Junjie Ou외 2명|arXiv (Cornell University)|2022. 11. 20.

Advanced Graph Neural Networks인용 수 6

한 줄 요약

이 논문은 역사적 대조 학습을 활용하여 이벤트 예측 성능을 향상시키기 위해 과거 및 비과거 의존성을 함께 모델링하는 새로운 시간 지식 그래프 추론 모델인 CENET을 제안한다. 쿼리 표현을 지도형 대조 학습을 통해 훈련하고 마스크 기반 추론 전략을 적용함으로써 CENET은 이벤트 기반 데이터셋에서 최소 8.3%의 Hits@1 상대적 향상을 달성한다.

ABSTRACT

Temporal knowledge graph, serving as an effective way to store and model dynamic relations, shows promising prospects in event forecasting. However, most temporal knowledge graph reasoning methods are highly dependent on the recurrence or periodicity of events, which brings challenges to inferring future events related to entities that lack historical interaction. In fact, the current moment is often the combined effect of a small part of historical information and those unobserved underlying factors. To this end, we propose a new event forecasting model called Contrastive Event Network (CENET), based on a novel training framework of historical contrastive learning. CENET learns both the historical and non-historical dependency to distinguish the most potential entities that can best match the given query. Simultaneously, it trains representations of queries to investigate whether the current moment depends more on historical or non-historical events by launching contrastive learning. The representations further help train a binary classifier whose output is a boolean mask to indicate related entities in the search space. During the inference process, CENET employs a mask-based strategy to generate the final results. We evaluate our proposed model on five benchmark graphs. The results demonstrate that CENET significantly outperforms all existing methods in most metrics, achieving at least $8.3\%$ relative improvement of Hits@1 over previous state-of-the-art baselines on event-based datasets.

연구 동기 및 목표

• 과거 상호작용 흔적의 충분함이 부족한 새로운 또는 드문 이벤트를 예측하는 문제를 해결하기 위해.
• 반복적이거나 주기적인 패턴에 대한 의존도를 줄이기 위해 이벤트 예측에서 과거 및 비과거 의존성을 함께 모델링하기 위해.
• 쿼리 유형을 과거 요인보다 비과거 요인에 더 의존하는지 여부에 따라 구분하는 대조 학습 프레임워크를 도입하기 위해.
• 유의미한 엔티티를 우선시하는 동적 마스크를 생성하기 위해 학습된 이진 분류기를 사용하여 추론 정확도를 향상시키기 위해.
• 특히 과거 상호작용 빈도가 낮은 주어진 엔티티의 경우, 엔티티 재등장 빈도의 불균형을 해결하기 위해.

제안 방법

• CENET은 주어진 쿼리에 대해 과거 및 비과거 이벤트로부터의 의존성을 모델링하기 위해 복사 메커니즘 기반의 스코어링 전략을 사용한다.
• 쿼리 표현을 훈련하기 위해 지도형 대조 학습을 사용하여, 정답 엔티티가 과거에 자주 발생하는지 희귀한지에 따라 쿼리를 구분한다.
• 대조 손실을 사용하여 이진 분류기를 훈련하여, 예측이 과거 또는 비과거 엔티티를 우선시해야 하는지 여부를 나타내는 불리안 마스크를 출력한다.
• 추론 과정에서 CENET은 분류기의 출력에 기반해 후보 엔티티를 필터링하는 마스크 기반 전략을 적용하여 관련 엔티티에 대한 집중도를 높인다.
• 모델은 두 가지 손실 함수를 최적화한다: 표준 예측을 위한 교차 엔트로피 손실($\mathcal{L}^{ce}$)과 쿼리 표현 학습을 향상시키기 위한 지도형 대조 손실($\mathcal{L}^{sup}$).
• 하이퍼파ram터 $\alpha$와 $\lambda$는 각각 두 손실 함수의 기여도와 마스크 가중치의 균형을 조절하기 위해 튜닝된다.

실험 결과

연구 질문

• RQ1 시간 지식 그래프에서 과거 이벤트와 비과거 이벤트에 의존하는 쿼리를 효과적으로 구분할 수 있는 대조 학습 프레임워크가 존재하는가?
• RQ2 과거 및 비과거 의존성을 함께 모델링함으로써 드문 또는 새로운 이벤트의 예측 성능이 어떻게 향상되는가?
• RQ3 학습된 마스크 기반 추론 전략은 모든 후보 엔티티에 대한 균일한 순위 매기기와 비교해 정확도를 얼마나 향상시키는가?
• RQ4 제안된 프레임워크의 구성 요소들인 대조 학습, 이진 분류기, 마스크 전략이 성능 향상에 각각 기여하는 정도는 어떠한가?
• RQ5 다양한 재등장 빈도와 구조적 특성을 가진 다양한 TKG에 대해 모델이 일반화 가능한가?

주요 결과

• CENET은 이벤트 기반 TKG 데이터셋에서 최신 기준 모델 대비 최소 8.3%의 Hits@1 상대적 향상을 달성하여 뛰어난 일반화 능력을 입증한다.
• ICEWS18 및 YAGO에서 대조 학습 구성 요소를 제거한 CENET-w/o-CL의 성능이 가장 열 劣하며, 이는 표현 학습에서의 핵심적 역할을 확인한다.
• 제거 실험 결과 과거 및 비과거 의존성 모두가 필수적임을 입증한다. CENET-his(과거만 사용)는 CENET-nhis(비과거만 사용)보다 성능이 뛰어나지만, 최적의 성능을 내기 위해서는 둘 다 필요하다.
• 마스크 기반 추론 전략은 성능 향상에 크게 기여하며, CENET-w/o-stage-2(분류기 없음)는 각각 ICEWS18과 YAGO에서 Hits@1이 1.7%와 3.8% 감소한다.
• 하이퍼파ram터 분석 결과 $\alpha = 0.2$ 및 $\lambda = 2$가 최적 성능을 낳으며, 이는 이벤트 기반 TKG에서는 $\mathcal{L}^{ce}$가 더 기여하고, 공개 KG에서는 $\mathcal{L}^{sup}$가 더 효과적임을 확인한다.
• 모델은 재등장 빈도의 불균형 영향을 효과적으로 완화하여, 주어진 엔티티의 과거 상호작용 빈도가 낮더라도 관련 없는 엔티티를 선택할 확률을 줄인다.