[논문 리뷰] Tensor Decompositions for temporal knowledge base completion

Timothée Lacroix, Guillaume Obozinski외 1명|arXiv (Cornell University)|2020. 04. 10.

Advanced Graph Neural Networks참고 문헌 26인용 수 120

한 줄 요약

이 논문은 지식 그래프 보완을 위한 텐서 분해를 시계열 데이터로 확장하고, 시계 기반 ComplEx 기반 모델(TComplEx)과 비시계 구성요소를 포함한 TNTComplEx 변형을 도입하여 규제화를 제시하고, 위키데이터에서 파생된 큰 데이터셋으로 평가를 수행한다.

ABSTRACT

Most algorithms for representation learning and link prediction in relational data have been designed for static data. However, the data they are applied to usually evolves with time, such as friend graphs in social networks or user interactions with items in recommender systems. This is also the case for knowledge bases, which contain facts such as (US, has president, B. Obama, [2009-2017]) that are valid only at certain points in time. For the problem of link prediction under temporal constraints, i.e., answering queries such as (US, has president, ?, 2012), we propose a solution inspired by the canonical decomposition of tensors of order 4. We introduce new regularization schemes and present an extension of ComplEx (Trouillon et al., 2016) that achieves state-of-the-art performance. Additionally, we propose a new dataset for knowledge base completion constructed from Wikidata, larger than previous benchmarks by an order of magnitude, as a new reference for evaluating temporal and non-temporal link prediction methods.

연구 동기 및 목표

• 지식 기반에서 시간적 연결 예측의 필요성을 제시하고 사실의 시간적 타당성에 대해 다룬다.
• 시계열 KB 완전을 위해 주체, 술어, 객체, 타임스탬프의 4차원 텐서로 확장한다.
• 이질적 시간 데이터를 다루기 위해 규제화와 비시계 구성요소를 도입한다.
• 시계 및 비시계 KB 완성 방법을 벤치마킹하기 위한 위키데이터 기반의 대규모 확장 가능한 데이터셋을 제공한다.

제안 방법

• 타임스탬프 인자를 추가하여 ComplEx를 시계 설정으로 확장: X_hat(U,V,T) = Re([U, V, conj(U), T]).
• 시간 의존적이지 않은 술어를 처리하기 위한 비시계 구성요소를 도입하여 TNTComplEx를 만든다.
• 텐서 핵 p-노름의 변분 형태(p=3,4)와 시간 임베딩의 매끈함 항으로 정규화를 적용한다.
• 모드의 한계 통계에 따라 가중치를 부여하고 샘플링에 적응하는 규제 스킴을 유도하기 위해 텐서를 펼친다.
• 관측된 트리플과 샘플링된 네거티브에 대해 교차 엔트로피 손실로 학습하고 학습 안정을 위해 상호 관계를 포함한다.
• 학습용 7M 시계 및 비시계 트리플을 위해 432,715개 엔티티, 407 술어, 1,724 타임스탬프를 가진 대규모 위키데이터 기반 데이터셋을 제시한다.

실험 결과

연구 질문

• RQ1 ComplEx의 시간적 확장(TComplEx)이 지식 그래프의 시계 의존 관계를 효과적으로 모델링할 수 있는가?
• RQ2 비시계 구성요소(TNTComplEx)를 추가하는 것이 이질적인 시간적 지식 기반에서 성능을 향상시키는가?
• RQ3 정규화 전략(핵 p-노름 변분 형태 및 시간적 매끈함)이 시계 KB 완성 성능을 향상시키는가?
• RQ4 제안된 접근법이 위키데이터와 같은 대규모 웹 규모의 시계 지식 기반에서 시계 및 비시계 술어 모두에 어떻게 확장되는가?

주요 결과

• TComplEx와 TNTComplEx는 ICEWS14, ICEWS05-15, Yago15k에서 기준선들과 비슷한 매개변수 수로 최첨단 성능을 달성한다.
• 핵 p-노름 변분 형태와 시간적 매끈함으로 인한 규제가 MRR을 크게 향상시키며 특정 데이터셋에서 최대 0.07 절대 증가를 보인다.
• 7M 학습 트리플, 432K 엔티티, 407 술어, 1.7K 타임스탬프의 대규모 위키데이터 기반 데이터셋은 시계 및 비시계 KB 완성에 대한 확장 가능한 벤치마크를 제공한다.
• TNTComplEx는 시계 성능이 경쟁력 있으면서도 비시계 성능도 강하게 유지하여 공유 매개변수의 혼합 시계 접근법을 정당화한다.
• 추가적인 시간 모델링에도 불구하고 비슷한 매개변수 수의 정적 모델과 비교 가능한 학습 효율성이다.