[논문 리뷰] Canonical Tensor Decomposition for Knowledge Base Completion

Timothée Lacroix, Nicolas Usunier외 1명|arXiv (Cornell University)|2018. 06. 19.

Advanced Graph Neural Networks참고 문헌 34인용 수 49

한 줄 요약

논문은 지식 그래프 완성을 위해 CP를 재평가하고, 의미적으로 불변인 역상 인과를 재구성하고 핵 3-노름 정규화항을 도입하여 여러 벤치마크에서 최첨단 성능을 달성하고 역을 사용할 때 ComplEx와 일치한다.

ABSTRACT

The problem of Knowledge Base Completion can be framed as a 3rd-order binary tensor completion problem. In this light, the Canonical Tensor Decomposition (CP) (Hitchcock, 1927) seems like a natural solution; however, current implementations of CP on standard Knowledge Base Completion benchmarks are lagging behind their competitors. In this work, we attempt to understand the limits of CP for knowledge base completion. First, we motivate and test a novel regularizer, based on tensor nuclear $p$-norms. Then, we present a reformulation of the problem that makes it invariant to arbitrary choices in the inclusion of predicates or their reciprocals in the dataset. These two methods combined allow us to beat the current state of the art on several datasets with a CP decomposition, and obtain even better results using the more advanced ComplEx model.

연구 동기 및 목표

• 지식 기반 완성을 위한 CP를 최첨단 모델과 비교하여 동기 부여 및 평가.
• 원리적 정규화를 촉진하는 텐서-노름 기반 정규화항 도입.
• 의미적 불변성을 달성하기 위해 예언자와 그 역수를 모형화하는 대칭 재구성 제안.
• 여러 데이터셋에서 표준 설정 및 역 설정하에서 CP와 ComplEx를 평가.

제안 방법

• 지식 베이스를 제3차원 이진 텐서로 모델링하고 CP 분해를 적용.
• 데이터 의존적 가중치를 가진 요인들로 학습하기 위한 전체 다중 클래스 로그 손실 사용.
• 텐서 노름의 변분 형태로서 핵 3-노름 기반 정규화항 도입(특히 핵 3-노름).
• 역 예언자를 추가하여 목표를 재구성하고 대칭적 불변성을 달성하는 역 텐서를 생성.
• 표준 설정과 역 설정에서 CP와 ComplEx를 비교; 가중 정규화 및 SGD 최적화 구현.

실험 결과

연구 질문

• RQ1 적절히 선택된 최적화 및 정규화를 통해 CP가 지식 기반 완성에서 경쟁력 있는 성능을 달성할 수 있는가?
• RQ2 텐서-노름 기반 정규화항이 벤치마크 데이터셋에서 CP 성능을 향상시키는가?
• RQ3 역 예언자(Reciprocal)를 모델링하는 것이 링크 예측과 의미적 불변성을 향상시키는가?
• RQ4 표준 벤치마크에서 역 재구성으로 CP와 ComplEx의 비교는 어떠한가?
• RQ5 배치 크기, 학습률, 랭크 등의 최적화 설정이 모델 성능에 어떤 영향을 미치는가?

주요 결과

모델	WN18 MRR	WN18 H@10	FB15K MRR	FB15K-237 MRR	YAGO3-10 MRR	FB15K WN18RR MRR	FB15K WN18RR H@10	비고
Past SOTA CP	0.08	0.13	-	-	-	-	-	-
ComplEx †	0.94	0.95	0.44	0.51	0.70	0.84	0.25	-
DistMult ∗	0.82	0.94	0.43	0.49	0.80	0.89	0.24	-
ConvE ∗	0.94	0.95	0.46	0.48	0.75	0.87	0.32	-
Best Published ⋆	0.94	0.97	0.46	0.51	0.84	0.93	0.32	-
CP-N3 (Standard)	0.20	0.33	0.12	0.20	0.46	0.65	0.33	-
ComplEx-N3	0.95	0.96	0.47	0.54	0.80	0.89	0.35	-
CP-FRO (Reciprocal)	0.95	0.95	0.46	0.48	0.86	0.91	0.34	-
CP-N3 (Reciprocal)	0.95	0.96	0.47	0.54	0.86	0.91	0.36	-
ComplEx-FRO (Reciprocal)	0.95	0.96	0.47	0.54	0.86	0.91	0.35	-
ComplEx-N3 (Reciprocal)	0.95	0.96	0.48	0.57	0.86	0.91	0.37	-

• 최적화에 신중하게 접근하고 역 예언자 모델링을 사용할 때 CP가 최첨단 성능에 도달할 수 있다.
• 역의 모델링은 CP와 ComplEx에 큰 이점을 제공하며, 예를 들어 FB15K에서 CP의 MRR이 역수 사용 시 0.46에서 0.86으로 향상된다.
• 핵 3-노름 정규화항은 더 어려운 데이터셋에서 작지만 유의미한 개선을 제공하나 CP 성능에 결정적이지는 않다.
• 역 재구성은 WN18 및 FB15K에서 CP 성능을 크게 향상시켜 여러 데이터셋에서 CP 결과를 ComplEx에 가깝게 또는 대등하게 만든다.
• 역 예언자를 사용하는 CP와 ComplEx는 여러 데이터셋에서 표준 버전보다 평균 역순위(mean reciprocal rank)가 더 높다.
• 최적화 하이퍼파라미터는 최종 결과에 큰 영향을 미치며 때로는 0.1 MRR만큼 크게 작용한다.