[논문 리뷰] Knowledge Graph Embedding with Multiple Relation Projections

Kien Do, Truyen Tran외 1명|arXiv (Cornell University)|2018. 01. 26.

Advanced Graph Neural Networks참고 문헌 24인용 수 4

한 줄 요약

이 논문은 관계 투영을 공유 기저 부분공간을 사용하여 모델링하는 지식 그래프 임베딩 방법인 TransF를 제안한다. 이는 계산 비용을 크게 감소시키고 고관계 설정에서의 강건성을 향상시킨다. 관계별 투영 행렬을 저랭크 기저 텐서와 관계별 좌표로 분해함으로써 TransF는 링크 예측에서 최신 기술 수준의 성능을 달성하며, 기존 방법 대비 N-to-1/1-to-N 관계에서 머리 엔티티 예측에 9%, 꼬리 엔티티 예측에 5% 향상된다.

ABSTRACT

Knowledge graphs contain rich relational structures of the world, and thus complement data-driven machine learning in heterogeneous data. One of the most effective methods in representing knowledge graphs is to embed symbolic relations and entities into continuous spaces, where relations are approximately linear translation between projected images of entities in the relation space. However, state-of-the-art relation projection methods such as TransR, TransD or TransSparse do not model the correlation between relations, and thus are not scalable to complex knowledge graphs with thousands of relations, both in computational demand and in statistical robustness. To this end we introduce TransF, a novel translation-based method which mitigates the burden of relation projection by explicitly modeling the basis subspaces of projection matrices. As a result, TransF is far more light weight than the existing projection methods, and is robust when facing a high number of relations. Experimental results on the canonical link prediction task show that our proposed model outperforms competing rivals by a large margin and achieves state-of-the-art performance. Especially, TransF improves by 9%/5% in the head/tail entity prediction task for N-to-1/1-to-N relations over the best performing translation-based method.

연구 동기 및 목표

• 수천 개의 관계를 포함하는 지식 그래프에서 TransR 및 TransD와 같은 기존 관계 투영 방법의 확장성과 통계적 비효율성 문제를 해결하기 위해.
• 현재 방법들이 관계별 투영 설계로 인해 忽시하는 '국적'과 '출생지'와 같은 관계 간 잠재적 상관관계를 모델링하기 위해.
• 관계별 투영 행렬의 계산 및 파라미터 부담을 줄이면서도 예측 성능을 유지하거나 향상시키기 위해.
• 고도로 다각화된 관계를 가진 복잡한 지식 그래프에서 더 강건하고 효율적인 링크 예측을 가능하게 하기 위해.

제안 방법

• TransF는 관계별 투영 행렬을 관계별 좌표 행렬과 공유 기저 텐서의 곱으로 분해하여 파라미터 수를 감소시킨다.
• 관계 투영 공간을 고정된 행렬 기저 벡터의 선형 조합으로 모델링함으로써 투영 행렬의 저랭크 표현을 가능하게 한다.
• 모든 관계에 대해 공통 기저 텐서를 사용하며, 각 관계의 투영은 기저 공간 내에서의 고유한 좌표 벡터로 정의된다.
• 엔티티 임베딩은 TransE와 유사한 번역 기반 추론을 수행하기 전에 학습된 기저 투영을 통해 관계 공간으로 투영된다.
• 에너지 함수는 투영된 머리 임베딩에 관계 벡터를 더한 값이 투영된 꼬리 임베딩에 근사하도록 제약을 부과한다: $\|\mathbf{h}_\perp + \mathbf{r} - \mathbf{t}_\perp\|_{\ell_1/2}$.
• 양성 트리플릿에 대한 에너지를 최소화하기 위해 음성 샘플링과 확률적 최적화를 사용하여 엔드 투 엔드로 모델을 훈련시킨다.

실험 결과

연구 질문

• RQ1 관계 투영 행렬의 저랭크 기저 분해가 지식 그래프 임베딩에서 확장성과 강건성을 향상시키는가?
• RQ2 공유 기저 부분공간을 통한 관계 간 잠재적 상관관계 모델링이 링크 예측 작업 성능을 향상시키는가?
• RQ3 TransR, TransD, TransSparse와 같은 최신 기술 대비 TransF는 성능 및 계산 효율성 측면에서 어떻게 비교되는가?
• RQ4 기존 방법이 어려움을 겪는 N-to-1 및 1-to-N 관계에서 TransF는 높은 성능을 유지할 수 있는가?

주요 결과

• TransF는 Freebase 및 WordNet 데이터셋에서 링크 예측 작업에서 최신 기술 수준의 성능을 달성한다.
• N-to-1 및 1-to-N 관계에서 TransF는 최고 성능을 보인 번역 기반 방법 대비 머리 엔티티 예측을 9% 향상시키고 꼬리 엔티티 예측을 5% 향상시킨다.
• 모든 관계에 대해 소수의 기저 행렬을 공유하므로 TransR 및 TransD보다 파라미터 수와 계산 비용을 크게 감소시킨다.
• 학습된 관계 임베딩의 시각화 결과는 TransF가 '국적'과 '출생지'와 같은 의미 있는 관계 간의 구조적 상관관계를 포착하고 있음을 확인한다.
• 수천 개의 관계를 포함하는 지식 그래프로 확장할 때 TransF는 각 관계를 독립적으로 처리하는 방법보다 뛰어난 통계적 강건성을 보여준다.