[논문 리뷰] KBLRN : End-to-End Learning of Knowledge Base Representations with Latent, Relational, and Numerical Features

Alberto García-Durán, Mathias Niepert|arXiv (Cornell University)|2017. 09. 14.

Topic Modeling참고 문헌 34인용 수 49

한 줄 요약

KBlrn은 딥러닝과 확률적 전문가의 곱( product of experts)을 활용하여 잠재적, 관계적, 수치적 특징을 통합하는 새로운 엔드 투 엔드 프레임워크이다. FB15k-237와 WN18-rules에서 최신 기법들을 능가하며, 특히 많은 유효한 완성값을 가진 복잡한 쿼리에서 수치적 특징이 성능 향상에 크게 기여한다.

ABSTRACT

We present KBLRN, a framework for end-to-end learning of knowledge base representations from latent, relational, and numerical features. KBLRN integrates feature types with a novel combination of neural representation learning and probabilistic product of experts models. To the best of our knowledge, KBLRN is the first approach that learns representations of knowledge bases by integrating latent, relational, and numerical features. We show that instances of KBLRN outperform existing methods on a range of knowledge base completion tasks. We contribute a novel data sets enriching commonly used knowledge base completion benchmarks with numerical features. The data sets are available under a permissive BSD-3 license. We also investigate the impact numerical features have on the KB completion performance of KBLRN.

연구 동기 및 목표

• 수작업 규칙과 지수적 추론 복잡도로 인해 비효율적이고 취약한 순수 논리적 지식 기반의 한계를 해결한다.
• 통계적 관계 학습의 비효율성과 취약성을 극복하기 위해 확률적 추론과 신경망 표현 학습을 융합한다.
• 다양한 특징 유형—관계적, 잠재적, 수치적—으로부터 공동으로 표현을 학습하는 통합적, 엔드 투 엔드 미분 가능한 프레임워크를 개발한다. 별도의 학습 단계가 필요로 하지 않다.
• 실수값 속성과 같은 수치적 특징이 고카디널리티 쿼리에서 지식 기반 완성 성능을 크게 향상시킨다는 것을 입증한다.
• 미래의 연구 방법 평가를 위한 공정한 평가를 가능하게 하기 위해 수치적 특징을 포함한 새로운 벤치마크 데이터셋을 기여한다.

제안 방법

• 지속적인 수치적 특징을 미분 가능한 잠재 공간에 통합하기 위해 반경 기반 함수(RBFs)를 사용한다. 이는 엔드 투 엔드 학습을 가능하게 한다.
• 관계적 특징을 Amie+를 통해 추출한 논리 공식(예: 길이 1 및 2의 경로)으로 모델링하고, 각 엔티티 쌍에 대해 이진 지표로 표현한다.
• 표준 지식 그래프 임베딩 목적함수(예: TransE 스타일 스코어 함수)를 사용해 엔티티 및 관계 임베딩을 학습함으로써 잠재적 특징을 얻는다.
• 세 가지 특징 유형을 확률적 전문가의 곱(PoE) 모델을 통해 통합한다. 각 전문가(관계적, 잠재적, 수치적)의 스코어를 합산하고 소프트맥스로 정규화한다.
• 계산이 불가능한 PoE 정규화 요소를 부정 샘플링을 통해 근사함으로써, 모든 구성 요소의 효율적이고 미분 가능한 공동 학습을 가능하게 한다.
• 모든 구성 요소가 동시에 업데이트되도록 링크 예측 작업에서 분류 교차 엔트로피 손실을 사용해 전체 모델을 엔드 투 엔드로 학습한다.

실험 결과

연구 질문

• RQ1 관계적 및 잠재적 특징과 통합된 수치적 특징이 지식 기반 완성 성능에 얼마나 기여하는가?
• RQ2 통합적, 엔드 투 엔드로 미분 가능한 프레임워크가 잠재적, 관계적, 연속적인 수치적 특징을 효과적으로 통합할 수 있는가?
• RQ3 KBlrn의 성능은 특히 하나의 정답 완성값이 있는 경우와 많은 정답 완성값이 있는 경우의 쿼리 유형에 따라 어떻게 달라지는가?
• RQ4 수치적 특징의 통합이 완전하거나 희박한 훈련 데이터를 가진 다양한 지식 기반 벤치마크에서 일관되게 성능 향상에 기여하는가?
• RQ5 기본 지식 기반 완성 벤치마크에서 관계적, 잠재적, 수치적 특징의 상대적 기여도는 예측 성능 측면에서 어떻게 비교되는가?

주요 결과

• KBlrn은 FB15k-237-num에서 TransE와 DistMult를 뛰어넘어 MRR 70.8, MR 43을 기록했으며, TransE의 MRR 26.5와 MR 231에 비해 뚜렷한 성능 향상을 보였다.
• FB15k-237-num 데이터셋에서 KBlrn은 PR-AUC 0.958을 달성하여 TransE(0.837)와 KBlr(0.913)를 크게 앞서며 정밀도와 재현도 모두 뛰어난 성능을 보였다.
• 많은 유효한 완성값이 존재하는 쿼리(예: 'USA, /location/contains, ?')에서 KBlrn은 수치적 특징을 통합함으로써 MRR를 21.0에서 22.8로, MR를 201에서 135로 향상시켜 복잡한 케이스에서 강력한 성능 향상을 보였다.
• 수치적 특징의 통합으로 FB15k-237에서 MRR가 상대적으로 15.8% 향상되어 일반화 및 내성 강도 향상에 핵심적인 역할을 한다는 것을 입증했다.
• WN18-rules에서 KBlrn은 ComplEx(74.2 vs. 74.9)와 경쟁 가능한 성능을 보였으며, 관계적 및 잠재적 특징을 통합함으로써 성능 향상이 이루어졌고, ASR-ComplEx는 ComplEx를 능가하지 못한 것과 대비된다.
• 고카디널리티 쿼리('Many'로 레이블링된 쿼리)에서 모델은 일관된 성능 향상을 보였으며, 수치적 특징이 정답 후보와 오답 후보를 더 효과적으로 구분하는 데 기여했다.