[논문 리뷰] TFLEX: Temporal Feature-Logic Embedding Framework for Complex Reasoning over Temporal Knowledge Graph

Xueyuan Lin, Chengjin Xu외 7명|arXiv (Cornell University)|2022. 05. 28.

Advanced Graph Neural Networks인용 수 5

한 줄 요약

TFLEX는 시간 지식 그래프에서의 복합적인 추론을 위해 퍼지 논리를 통합한 새로운 시간 지식 그래프 추론 프레임워크로, 엔티티 및 타임스탬프 집합에 대해 시간 연산자(이후, 이전, 사이)를 처리할 수 있도록 확장된 첫 번째 순서 논리 연산을 지원한다. 엔티티와 타임스탬프에 대한 특징 및 논리 구성 요소를 함께 모델링하여 다중 힙 시간 복합 질의에서 최신 기술 성능을 달성하며, 세 개의 새로 구축된 TKG 데이터셋에서 효과성을 입증한다.

ABSTRACT

Multi-hop logical reasoning over knowledge graph (KG) plays a fundamental role in many artificial intelligence tasks. Recent complex query embedding (CQE) methods for reasoning focus on static KGs, while temporal knowledge graphs (TKGs) have not been fully explored. Reasoning over TKGs has two challenges: 1. The query should answer entities or timestamps; 2. The operators should consider both set logic on entity set and temporal logic on timestamp set. To bridge this gap, we define the multi-hop logical reasoning problem on TKGs. With generated three datasets, we propose the first temporal CQE named Temporal Feature-Logic Embedding framework (TFLEX) to answer the temporal complex queries. We utilize vector logic to compute the logic part of Temporal Feature-Logic embeddings, thus naturally modeling all First-Order Logic (FOL) operations on entity set. In addition, our framework extends vector logic on timestamp set to cope with three extra temporal operators (After, Before and Between). Experiments on numerous query patterns demonstrate the effectiveness of our method.

연구 동기 및 목표

• 시간 지식 그래프(TKG)에서의 다중 힙 논리적 추론 작업을 정식화하는 것. 이는 정적 KGs를 초월하여 엔티티 집합 또는 타임스탬프 집합을 답으로 지원한다.
• 시간 지식 그래프(TKG)에서 동시에 첫 번째 순서 논리 연산과 시간 논리 연산을 처리할 수 있는 프레임워크의 부족을 해결하는 것.
• 퍼지 논리 확장을 통해 엔티티 수준의 논리와 타임스탬프 수준의 시간 논리를 모두 모델링하는 통합 임베딩 프레임워크를 제안하는 것.
• 실제 세계의 TKG에서 시간 복합 질의 추론을 위한 세 개의 새로운 벤치마크 데이터셋을 생성하는 것.
• 복잡한 논리적 및 시간 제약 조건을 포함한 다양한 질의 패턴에서 프레임워크의 효과성을 평가하는 것.

제안 방법

• TFLEX는 객체 임베딩을 엔티티 및 타임스탬프 구성 요소로 분해하며, 각 구성 요소는 추가로 특징 및 논리 하위구성 요소로 나뉜다.
• 모든 첫 번째 순서 논리 연산(합성, 선택, 부정, 존재 기호)을 엔티티 집합에 대해 퍼지 논리를 사용하여 모델링한다.
• 프레임워크는 타임스탬프 집합에 적용되는 세 가지 추가 시간 연산자인 이후, 이전, 사이를 지원하기 위해 퍼지 논리를 확장한다.
• 논리 구성 요소는 특징 구성 요소의 변환과 상호작용을 이끌어내며, 논리적 추론을 특징 공간에 통합할 수 있도록 한다.
• 예측된 답을 지정된 진짜 값 집합과 일치시키기 위해, 엔티티 및 타임스탬프 임베딩을 함께 최적화하는 미분 가능한 손실 함수를 사용한다.
• 질의에서 계산 그래프를 구성하여 논리적 및 시간 연산을 통해 임베딩의 조합을 이끌어내는 데 사용한다.

실험 결과

연구 질문

• RQ1 시간 지식 그래프에서 다중 힙 논리적 추론은 어떻게 정식화될 수 있는가? 여기서 답은 엔티티 또는 타임스탬프일 수 있다.
• RQ2 통합된 임베딩 프레임워크는 시간 지식 그래프에서 첫 번째 순서 논리 및 시간 논리 연산을 효과적으로 모델링할 수 있는가?
• RQ3 퍼지 논리에 대한 제안된 확장은 이후, 이전, 사이와 같은 복잡한 시간 연산자를 어떻게 처리하는가?
• RQ4 다양한 시간 질의 패턴, 특히 다중 힙과 혼합된 엔티티-타임스탬프 추론을 포함한 경우, 프레임워크의 성능은 어떠한가?
• RQ5 TFLEX는 새로 구축된 시간 복합 질의 답변을 위한 벤치마크에서 기존 방법과 비교해 어떻게 성능을 내는가?

주요 결과

• TFLEX는 실제 세계의 TKG에서 유도된 세 개의 벤치마크 데이터셋에서 다중 힙 시간 복합 질의에서 최신 기술 성능을 달성한다.
• 프레임워크는 엔티티 수준의 논리 연산과 타임스탬프 수준의 시간 제약 조건을 모두 처리할 수 있으며, '사이' 및 '이후'와 같은 복잡한 패턴을 포함한다.
• 실험 결과, 특징 수준의 변환에 퍼지 논리를 통합함으로써 노이즈가 많고 완전하지 않은 TKG에서도 정확한 추론이 가능함을 입증한다.
• 모델은 어려운 질의와 쉬운 질의를 포함한 다양한 질의 유형에서 높은 정밀도로 상위 순위 예측을 보이며 뛰어난 강건성을 보인다.
• 제거 실험을 통해 논리 및 특징 구성 요소, 그리고 확장된 시간 연산자가 최적 성능을 내기 위해 필수적임을 확인한다.