[논문 리뷰] Logic and Commonsense-Guided Temporal Knowledge Graph Completion

Guanglin Niu, Bo Li|arXiv (Cornell University)|2022. 11. 30.

Topic Modeling인용 수 4

한 줄 요약

이 논문은 시간에 민감한 표현과 시기성, 그리고 시간에 영향을 받지 않는 일반 지식을 함께 학습하는 새로운 시간 지식 그래프 완성 모델인 LCGE를 제안한다. 시간 규칙 기반의 술어 정규화와 일반 지식 인식 임베딩을 통합함으로써, 세 가지 벤치마크 데이터셋에서 최신 기술 성능을 달성하며, 기호 규칙을 통한 인과 추론을 통해 설명 가능한 예측을 제공한다.

ABSTRACT

A temporal knowledge graph (TKG) stores the events derived from the data involving time. Predicting events is extremely challenging due to the time-sensitive property of events. Besides, the previous TKG completion (TKGC) approaches cannot represent both the timeliness and the causality properties of events, simultaneously. To address these challenges, we propose a Logic and Commonsense-Guided Embedding model (LCGE) to jointly learn the time-sensitive representation involving timeliness and causality of events, together with the time-independent representation of events from the perspective of commonsense. Specifically, we design a temporal rule learning algorithm to construct a rule-guided predicate embedding regularization strategy for learning the causality among events. Furthermore, we could accurately evaluate the plausibility of events via auxiliary commonsense knowledge. The experimental results of TKGC task illustrate the significant performance improvements of our model compared with the existing approaches. More interestingly, our model is able to provide the explainability of the predicted results in the view of causal inference. The source code and datasets of this paper are available at https://github.com/ngl567/LCGE.

연구 동기 및 목표

• 기존 TKGC 모델이 시간적 사건에서 시기성과 인과성을 동시에 표현하는 데에 한계가 있음을 해결하기 위해.
• 시간에 민감한 이벤트 동적 특성과 시간에 영향을 받지 않는 일반 지식을 통합함으로써 예측 정확도를 향상시키기 위해.
• 채굴된 시간 규칙을 통해 인과 추론을 가능하게 하여 모델의 설명 가능성을 향상시키기 위해.
• 논리 기반 추론과 신경망 임베딩 학습을 통합하는 통합 프레임워크를 개발하기 위해.

제안 방법

• 채굴된 시간 규칙를 사용하여 인과성을 술어 표현에 통합하기 위한 시간 규칙 기반 술어 임베딩 정규화 전략을 제안한다.
• 시기성과 인과성에 민감한 임베딩(시간에 민감한 표현)과 시간에 영향을 받지 않는 일반 지식 임베딩을 결합하는 통합 스코어링 메커니즘을 설계한다.
• 단일 시간 제약 조건을 초월하여 다양한 시간 규칙 패턴을 자동으로 추출하기 위한 시간 규칙 학습 알고리즘을 도입한다.
• 질의 이벤트를 고품질 시간 규칙에 매칭시켜 설명 가능한 추론을 가능하게 하는 기호 추론 모듈을 구현한다.
• 시간 인식 이벤트 스코어링을 위한 하나의 브랜치와 일반 지식 기반 타당성 평가를 위한 다른 브랜치를 갖춘 이중 브랜치 아키텍처를 사용한다.
• 학습 중에 TKGC 성능과 규칙 일관성을 동시에 최적화하는 미분 가능 손실 함수를 적용한다.

실험 결과

연구 질문

• RQ1 통합 모델이 시간 지식 그래프에서 시기성과 인과성을 효과적으로 표현할 수 있는가?
• RQ2 일반 지식은 누락된 시간적 사건의 타당성 스코어링을 어떻게 향상시킬 수 있는가?
• RQ3 시간 규칙는 자동으로 채굴되어 TKGC의 설명 가능성 향상에 기여할 수 있는가?
• RQ4 논리 기반 추론과 신경망 임베딩을 조합하면 기존의 데이터 기반 TKGE 모델보다 성능 향상이 두드러지게 이루어지는가?

주요 결과

• LCGE는 ICEWS14, ICEWS05-15, Wikidata12k 세 가지 벤치마크 데이터셋에서 최신 기술 성능을 크게 향상시켰다.
• ICEWS14에서 LCGE는 최고의 베이스라인인 TeLM 대비 MRR 6.7% 향상되고 Hits@1은 7.9% 향상되었다.
• ICEWS05-15에서 LCGE는 TeLM 대비 MRR 7.7% 향상되고 Hits@1은 9.3% 향상되었다.
• Wikidata12k에서 LCGE는 MRR에서 29.2% 향상되고 Hits@1에서는 31.6% 향상되어 강력한 일반화 능력을 보였다.
• 제거 실험 결과, 시간 규칙 기반 정규화와 일반 지식 모듈 모두 필수적임을 확인하였으며, 후자가 성능 향상에 더 큰 기여를 하였다.
• 사례 연구를 통해 LCGE가 기호 시간 규칙에 기반해 질의를 매칭함으로써 설명 가능한 예측을 제공하는 것으로 확인되었으며, 예를 들어 규칙과 기반 이벤트를 바탕으로 '남한'을 방문 이벤트의 목적어로 유추하는 방식이다.