[논문 리뷰] On the representation and embedding of knowledge bases beyond binary relations

Jianfeng Wen, Jianxin Li외 3명|arXiv (Cornell University)|2016. 07. 09.

Topic Modeling참고 문헌 22인용 수 16

한 줄 요약

이 논문은 기존의 이항 관계 가정을 넘어서 다중 관계(n-ary)를 갖는 지식 기반에 대한 표준 표현을 제안한다. 기존의 임베딩 모델이 이항 관계에 국한되어 있음에 비해, m-TransH는 TransH의 일반화된 버전으로서 직접적으로 n-항 관계를 모델링함으로써 이항 삼중항으로의 변환 과정에서 손실되는 구조적 정보를 유지함으로써 최신 성능을 달성한다.

ABSTRACT

The models developed to date for knowledge base embedding are all based on the assumption that the relations contained in knowledge bases are binary. For the training and testing of these embedding models, multi-fold (or n-ary) relational data are converted to triples (e.g., in FB15K dataset) and interpreted as instances of binary relations. This paper presents a canonical representation of knowledge bases containing multi-fold relations. We show that the existing embedding models on the popular FB15K datasets correspond to a suboptimal modelling framework, resulting in a loss of structural information. We advocate a novel modelling framework, which models multi-fold relations directly using this canonical representation. Using this framework, the existing TransH model is generalized to a new model, m-TransH. We demonstrate experimentally that m-TransH outperforms TransH by a large margin, thereby establishing a new state of the art.

연구 동기 및 목표

• 기존의 지식 기반 임베딩 모델이 다중 관계를 이항 삼중항으로 환원함으로써 구조적 정보를 상실하는 한계를 해결하기 위해.
• n-항 관계의 진짜 구조를 유지하는 지식 기반의 표준 표현을 개발하기 위해.
• 이항 분해를 통한 방식이 아니라 직접적으로 n-항 관계를 모델링하는 일반화된 임베딩 프레임워크를 제안하기 위해.
• 이 새로운 프레임워크를 통해 TransH 모델을 n-항 관계를 처리할 수 있도록 확장하여 m-TransH를 도출하기 위해.
• 표준 벤치마크에서 직접적인 n-항 관계 모델링이 성능 향상으로 이어지는 것을 경험적으로 입증하기 위해.

제안 방법

• 이항 삼중항으로 환원하지 않고도 n-항 관계를 명시적으로 캡처하는 지식 기반의 표준 표현을 제안한다.
• 표준 표현을 활용하여 TransH의 스코어링 함수를 n-항 관계에 적용할 수 있도록 재구성한다.
• 엔티티와 관계가 n-항 구조를 존중하는 방식으로 공동으로 임베딩되는 새로운 임베딩 공간을 도입한다.
• TransH의 관계 전용 초평면을 다중 인자 관계를 수용할 수 있도록 수정하여 n-항 상호작용을 직접 모델링할 수 있도록 한다.
• 마진 기반 순위 손실을 사용하여 모델을 훈련시키며, TransH의 최적화 목표를 유지하면서도 n-항 경우로 확장한다.
• n-항 관계를 임베딩 공간으로 매핑하기 위한 미분 가능한 변환을 활용하여 엔드 투 엔드 훈련을 가능하게 한다.

실험 결과

연구 질문

• RQ1 이항 삼중항 변환 과정에서 손실되는 구조적 정보를 유지할 수 있는 n-항 관계의 표준 표현을 정의할 수 있는가?
• RQ2 n-항 관계를 직접적으로 모델링하는 것이 지식 기반 임베딩 작업에서 성능 향상으로 이어지는가?
• RQ3 n-항 데이터에 적용했을 때, 일반화된 TransH 모델(m-TransH)의 성능은 원본 TransH와 비교해 어떻게 되는가?
• RQ4 기존의 이항 관계 기반 임베딩 모델에서 다중 관계의 구조적 정보가 어느 정도 유지되는가?
• RQ5 제안된 프레임워크는 FB15K와 같은 표준 지식 기반 벤치마크에 효과적으로 확장될 수 있는가?

주요 결과

• n-항 관계의 표준 표현은 이항 삼중항으로의 변환 과정에서 손실되는 구조적 정보를 성공적으로 캡처한다.
• m-TransH는 표준 벤치마크에서 TransH를 크게 앞서며 새로운 최고 성능을 확립한다.
• 성능 향상은 임베딩 학습 과정에서 진정한 n-항 관계 구조를 유지했기 때문으로 기인된다.
• TransH와 같은 기존 모델은 이항 삼중항으로의 변환 과정에서 구조적 세부 정보를 암묵적으로 기각하기 때문에 최적의 성능을 내지 못한다.
• 제안된 프레임워크는 근사나 분해 없이도 직접적으로 n-항 관계를 모델링할 수 있도록 한다.
• 실험 결과는 관계를 원래의 n-항 형태로 모델링할 경우 더 표현력 있고 정확한 지식 기반 임베딩가 얻어진다는 것을 확인한다.