[논문 리뷰] ProjE: Embedding Projection for Knowledge Graph Completion

Baoxu Shi, Tim Weninger|arXiv (Cornell University)|2016. 11. 16.

Advanced Graph Neural Networks참고 문헌 34인용 수 159

한 줄 요약

ProjE는 후보 엔티티를 공유 타깃 벡터에 투영하여 지식 그래프 보완을 위한 순위를 매기는 자립적인 두 계층 신경망 모델을 도입하고, 컴팩트한 매개변수 크기와 무거운 특징 엔지니어링 없이도 강력한 성과를 달성한다.

ABSTRACT

With the large volume of new information created every day, determining the validity of information in a knowledge graph and filling in its missing parts are crucial tasks for many researchers and practitioners. To address this challenge, a number of knowledge graph completion methods have been developed using low-dimensional graph embeddings. Although researchers continue to improve these models using an increasingly complex feature space, we show that simple changes in the architecture of the underlying model can outperform state-of-the-art models without the need for complex feature engineering. In this work, we present a shared variable neural network model called ProjE that fills-in missing information in a knowledge graph by learning joint embeddings of the knowledge graph's entities and edges, and through subtle, but important, changes to the standard loss function. In doing so, ProjE has a parameter size that is smaller than 11 out of 15 existing methods while performing $37\%$ better than the current-best method on standard datasets. We also show, via a new fact checking task, that ProjE is capable of accurately determining the veracity of many declarative statements.

연구 동기 및 목표

• KGC를 순위 문제로 다루고 단순하고 자체 포함된 모델로 정확성을 향상시키는 것.
• 복잡한 특징 엔지니어링 없이도 작은 구조적 변화가 최첨단 모델을 능가할 수 있음을 보이는 것.
• 대각 결합 연산자를 갖춘 두 계층 ProjE가 강력한 성능과 확장성을 달성한다는 것을 입증하는 것.
• 실체 및 관계 예측과 사실 확인 작업에서 ProjE를 평가하여 선언문 진실성을 평가하는 것.

제안 방법

• 엔터티와 관계를 저차원 임베딩으로 표현한다.
• 엔티티 임베딩과 관계 임베딩을 병합하는 대각형(학습 가능한) 결합 연산자를 사용하여 결합 입력 벡터를 계산한다.
• 후보 엔티티를 공유 타깃 벡터에 투영하여 각 후보에 대한 순위 점수를 얻는다.
• 두 가지 손실 변형을 제공한다: ProjE_pointwise(이진/다중 클래스 스타일)와 ProjE_listwise(소프트맥스로 공동 순위), 여기에 ProjE_wlistwise(가중 목록 순위) 추가.
• 학습 중 큰 후보 집합을 관리하기 위해 Word2Vec에서 영감을 받은 음수 샘플링을 사용한다.
• 일반화 향상을 위해 Adam 옵티마이저, L1 정규화 및 드롭아웃으로 학습한다.

실험 결과

연구 질문

• RQ1 더 크고 복잡한 모델에 비해 컴팩트하고 자체 포함된 아키텍처의 ProjE가 KGC 성능을 향상시킬 수 있는가?
• RQ2 KGC에서 후보 엔티티를 순위 매길 때 포인트와이즈와 리스트와이즈 학습 목표는 어떻게 비교되는가?
• RQ3 공유 타깃 벡터에 대한 투영이 엔티티 및 관계 예측 모두에 대해 h-r-t 상호작용을 효과적으로 포착하는가?
• RQ4 경로 기반 입력과 최소한의 전제 조건으로 실세계 사실 확인에서 ProjE가 잘 작동하는가?

주요 결과

• FB15K에서 엔티티 예측 및 관계 예측에서 ProjE 변형이 기존의 많은 방법을 능가한다.
• ProjE_wlistwise와 ProjE_listwise는 일반적으로 지표 전반에 걸쳐 ProjE_pointwise를 능가한다.
• ProjE는 강력한 정확도를 달성하면서도 많은 경쟁 모델들보다 적은 매개변수를 사용한다.
• 후보 샘플링 비율이 25%에 불과한 경우에도 강건한 성능을 보이고 확장성에 도움을 준다.
• 사실 확인 작업에서 ProjE는 DBPedia 및 SemMedDB 데이터세트에서 여러 기준선 방법보다 더 높은 AUC 점수를 달성한다.