[논문 리뷰] Probabilistic Belief Embedding for Knowledge Base Completion

Miao Fan, Qiang Zhou외 3명|arXiv (Cornell University)|2015. 05. 10.

Topic Modeling참고 문헌 22인용 수 7

한 줄 요약

이 논문은 지식 기반 삼중항의 타당성을 추정하기 위해 개체, 관계, 관계 언급 내 단어의 분산 표현을 공동으로 학습하는 통합 모델인 확률적 믿음 임베딩(PBE)을 제안한다. 구조적 지식과 비구조적 텍스트를 확률적 스코어링을 통해 통합함으로써, WordNet, Freebase, NELL 데이터셋에서 개체 추론, 관계 예측, 삼중항 분류 과제에서 기존 최고 성능 모델을 상회하며, Hit@1에서 최대 327.6% 향상된 성능을 기록한다.

ABSTRACT

This paper contributes a novel embedding model which measures the probability of each belief $\langle h,r,t,m angle$ in a large-scale knowledge repository via simultaneously learning distributed representations for entities ($h$ and $t$), relations ($r$), and the words in relation mentions ($m$). It facilitates knowledge completion by means of simple vector operations to discover new beliefs. Given an imperfect belief, we can not only infer the missing entities, predict the unknown relations, but also tell the plausibility of the belief, just leveraging the learnt embeddings of remaining evidences. To demonstrate the scalability and the effectiveness of our model, we conduct experiments on several large-scale repositories which contain millions of beliefs from WordNet, Freebase and NELL, and compare it with other cutting-edge approaches via competing the performances assessed by the tasks of entity inference, relation prediction and triplet classification with respective metrics. Extensive experimental results show that the proposed model outperforms the state-of-the-arts with significant improvements.

연구 동기 및 목표

• 이질적인 데이터 소스에서의 불완전하고 노이즈가 많은 지식 기반 문제를 해결하기 위해 이질적 데이터 소스를 기반으로 한 확률적 추론을 가능하게 하기 위해.
• 구조적 지식(삼중항)과 비구조적 텍스트(관계 언급)를 하나의 임베딩 프레임워크 내에서 통합하여 지식 보완을 향상시키기 위해.
• 한 개의 일관된 확률적 모델 내에서 개체 추론, 관계 예측, 삼중항 분류와 같은 다수의 지식 보완 과제를 지원하기 위해.
• 이전 모델이 텍스트적 맥락을 忽略하거나 대규모 저장소에 확장되지 못하는 한계를 극복하기 위해.
• WordNet, Freebase, NELL과 같은 실제 대규모 지식 기반에서의 확장성과 효과성을 입증하기 위해.

제안 방법

• PBE는 확률적 스코어링 함수를 사용하여 헤드 및 테일 개체, 관계, 관계 언급 내 단어의 저차원 분산 표현을 공동으로 학습한다.
• 모델은 조건부 확률 기반 스코어링 함수를 사용한다: Pr(h|r,t)Pr(r|h,t)Pr(t|h,r), 이는 믿음 삼중항 ⟨h,r,t,m⟩의 타당성을 추정한다.
• 모델을 효율적으로 최적화하기 위해 음성 샘플링을 적용하여 학습 문제를 확률적 경사 하강법 프레임워크로 변환한다.
• 모델은 관계 언급(m)에서 유래한 텍스트 증거를 임베딩 공간에 통합하여, 순수한 관계를 넘어서 맥락 기반 추론을 가능하게 한다.
• 통합 프레임워크를 통해 엔티티, 관계, 단어 임베딩의 엔드 투 엔드 학습을 가능하게 하여 추론을 위한 벡터 연산을 지원한다.
• 프레임워크는 다중 과제를 지원한다: 개체 추론(누락된 헤드/테일), 관계 예측(누락된 관계), 삼중항 분류(타당성 검사).

실험 결과

연구 질문

• RQ1 통합 임베딩 모델이 구조적 지식과 비구조적 텍스트를 효과적으로 통합하여 지식 기반 보완을 향상시킬 수 있는가?
• RQ2 개체, 관계, 단어 임베딩의 공동 학습이 지식 기반 삼중항의 타당성 추정에 얼마나 기여하는가?
• RQ3 관계 언급(m)을 통합할 경우, 텍스트적 맥락을 忽略하는 모델과 비교해 개체 추론 및 관계 예측 성능에 얼마나 기여하는가?
• RQ4 제안된 모델이 Freebase 및 NELL과 같은 대규모 지식 기반에 효과적으로 확장 가능한가?
• RQ5 모델이 동시에 여러 지식 보완 과제—개체 추론, 관계 예측, 삼중항 분류—에서 최고 성능을 달성할 수 있는가?

주요 결과

• NELL-50K 데이터셋에서 관계 예측 과제에서 PBE는 기존 최고 성능 모델 대비 Hit@1에서 327.6%의 상대적 향상을 기록했다.
• WN-100K 데이터셋에서 PBE는 관계 예측 과제에서 Hit@1을 276.2% 향상시키고, 평균 순위를 41.1% 향상시켰다.
• 삼중항 분류 과제에서 PBE는 TransE, TransH, TransM를 초월하여 NELL-50K에서 7.9%의 정확도 향상을 기록했고, WN-100K와 FB-500K에서는 각각 5.6%의 향상을 기록했다.
• 개체 추론 과제에서 PBE는 FB-500K 데이터셋에서 평균 순위 필터링에서 10.4% 향상된 성능을 기록했다.
• 모델은 모든 평가 과제에서 NELL-50K, WN-100K, FB-500K 세 데이터셋 전반에 걸쳐 강력한 확장성과 일관된 우수성을 입증했다.
• 관계 언급의 단어 수준 임베딩 통합이 성능 향상에 크게 기여했으며, 특히 관계 예측 과제에서 여러 지표에서 100% 이상의 성과 향상을 기록했다.