[논문 리뷰] TILP: Differentiable Learning of Temporal Logical Rules on Knowledge Graphs

Siheng Xiong, Yuan Yang외 2명|arXiv (Cornell University)|2024. 02. 19.

Bayesian Modeling and Causal Inference인용 수 11

한 줄 요약

TILP는 제약된 랜덤 워크를 사용하여 시계열 지식 그래프에서 시간 논리 규칙을 학습하는 미분 가능 프레임워크를 도입하고, 링크 예측에서 경쟁력을 갖추며 해석 가능한 설명을 제공합니다.

ABSTRACT

Compared with static knowledge graphs, temporal knowledge graphs (tKG), which can capture the evolution and change of information over time, are more realistic and general. However, due to the complexity that the notion of time introduces to the learning of the rules, an accurate graph reasoning, e.g., predicting new links between entities, is still a difficult problem. In this paper, we propose TILP, a differentiable framework for temporal logical rules learning. By designing a constrained random walk mechanism and the introduction of temporal operators, we ensure the efficiency of our model. We present temporal features modeling in tKG, e.g., recurrence, temporal order, interval between pair of relations, and duration, and incorporate it into our learning process. We compare TILP with state-of-the-art methods on two benchmark datasets. We show that our proposed framework can improve upon the performance of baseline methods while providing interpretable results. In particular, we consider various scenarios in which training samples are limited, data is biased, and the time range between training and inference are different. In all these cases, TILP works much better than the state-of-the-art methods.

연구 동기 및 목표

• 시간에 따른 변화를 포착하기 위해 시계열 지식 그래프(tKGs)에 대한 시간 논리 규칙 학습의 필요성을 제기한다.
• 시간 특성 모델링을 갖춘 제약된 랜덤 워크를 통해 시간 규칙을 학습하는 미분 가능 프레임워크를 개발한다.
• 시간 증거와 함께 규칙 기반 설명으로 해석 가능한 예측을 제공한다.
• 표준 tKG 벤치마크에서 평가하여 최첨단 임베딩 및 규칙 기반 방법과 비교한다.
• 제한된 데이터, 편향, 시간 이동 시나리오에서의 강건성을 보여준다.

제안 방법

• 인터벌 기반 사실과 간격 간의 시계열 관계를 가진 시계열 지식 그래프를 정의한다.
• 행렬 연산자를 사용하여 Markovian 제약(술어 및 질의 간격)과 비-Markovian TR 제약을 결합한 제약된 랜덤 워크를 도입한다.
• P, TR, 길이에 대한 주의 벡터(attention vectors)로 주어지는 술어, 시간 관계, 규칙 길이에 대한 주의 기반 분포를 갖춘 RNN 기반 시스템으로 시간 규칙을 학습한다.
• 후보를 점수화하기 위한 증거로 반복성(Recurrence), 시간 순서(TemporalOrder), 관계 쌍 간격(RelationPairInterval), 지속시간(Duration) 등 시간 특성 모델링을 도입한다.
• 룰 기반 점수(TLR)와 시간 특성 점수(TFM)를 계산한 뒤 이를 최종 TILP 점수로 결합하여 순위 매김과 예측을 수행한다.
• 훈련은 두 단계로 진행된다: 올바른 후보를 최대화하도록 주의 벡터를 학습한 다음 시간 특성 분포를 적합시키고 예측을 위해 결합한다.

Figure 1: The RNN-based system for solving the attention vectors

실험 결과

연구 질문

• RQ1 제약된 랜덤 워크를 통한 미분 가능 시간 규칙 학습이 임베딩 기반 방법과 비교하여 tKG에서 경쟁력 있는 링크 예측을 달성할 수 있는가?
• RQ2 시간 특성과 규칙 기반 설명이 제한된 데이터, 편향된 데이터, 시간 시프트 시나리오에서 해석 가능성과 강건성을 향상시키는가?
• RQ3 현실 세계 데이터셋에서 간격 기반 시간 관계를 포함하는 시간 논리 규칙을 TILP가 얼마나 잘 학습하고 적용할 수 있는가?
• RQ4 시간 특성 모델링의 도입이 예측 성능에 미치는 영향은 무엇인가?
• RQ5 표준 벤치마크(WIKIDATA12k, YAGO11k)에서 TILP의 성능은 최첨단 방법에 비해 어떠한가?

주요 결과

• TILP는 두 개의 tKG 벤치마크에서 메트릭에 대해 최첨단 베이스라인과 비교하거나 향상된 성능을 달성한다.
• TILP는 학습된 시간 논리 규칙과 근거를 통해 해석 가능한 설명을 제공한다.
• 시간 특성 모델링과 제약된 랜덤 워크가 제한된 데이터 및 편향된 데이터 상황에서 강건성을 향상시킨다.
• 시간 이동 설정에서 TILP는 TimePlex와 TLogic보다 우수하게 작동하며 서로 다른 시간 범위에 대한 이전성을 더 잘 보여준다.
• 제거 실험에서 tfm(시간 특성 모델링)을 포함한 전체 TILP가 일반적으로 최상의 결과를 내며, w/o tfm은 뒤처진다.
• 학습된 규칙과 근거의 예시는 사람도 이해할 수 있는 추론 경로를 보여준다(예: memberOf 및 receiveAward 규칙).

Figure 2: Link prediction performance with few training samples