[논문 리뷰] Compositional Vector Space Models for Knowledge Base Completion

Arvind Neelakantan, Benjamin Roth외 1명|arXiv (Cornell University)|2015. 04. 24.

Topic Modeling참고 문헌 45인용 수 92

한 줄 요약

이 논문은 다중 히프 관계 경로를 분산 벡터 표현으로 비원자적으로 조합하는 데 recurrent neural network(RNN)을 사용하는 구성적 벡터 공간 모델을 제안한다. 단일 고용량 RNN 조합 함수를 학습함으로써, 훈련 중에 볼 수 없었던 관계 유형에 대해서도 제로샷 추론이 가능해지며, 5200만 트리플 데이터셋에서 기존 분류기보다 11% 향상되고 사전 학습된 임베딩 방법보다 7% 향상된다.

ABSTRACT

Knowledge base (KB) completion adds new facts to a KB by making inferences from existing facts, for example by inferring with high likelihood nationality(X,Y) from bornIn(X,Y). Most previous methods infer simple one-hop relational synonyms like this, or use as evidence a multi-hop relational path treated as an atomic feature, like bornIn(X,Z) -> containedIn(Z,Y). This paper presents an approach that reasons about conjunctions of multi-hop relations non-atomically, composing the implications of a path using a recursive neural network (RNN) that takes as inputs vector embeddings of the binary relation in the path. Not only does this allow us to generalize to paths unseen at training time, but also, with a single high-capacity RNN, to predict new relation types not seen when the compositional model was trained (zero-shot learning). We assemble a new dataset of over 52M relational triples, and show that our method improves over a traditional classifier by 11%, and a method leveraging pre-trained embeddings by 7%.

연구 동기 및 목표

• 지식 기반 완성에서 기호적 경로 기반 방법의 확장성 및 일반화 한계를 해결하기 위해.
• 관계 경로 간의 일반화를 가능하게 하는 구성적 RNN을 학습하여, 훈련 중에 볼 수 없었던 관계 유형에 대해 제로샷 추론을 가능하게 하기 위해.
• 원자적 경로 특징 대신 분산된 벡터 표현을 사용함으로써 경로 랭킹 알고리즘의 특징 폭발 문제를 해결하기 위해.
• 반복 아키텍처를 통해 관계 임베딩을 조합하여 대규모 지식 기반에서의 일반화와 성능을 향상시키기 위해.
• RNN 기반의 관계 경로 조합이 기존 분류기나 사전 학습된 임베딩보다 더 나은 일반화를 이끌어내는지 입증하기 위해.

제안 방법

• 모델는 경로에 포함된 관계의 벡터 임베딩과 경로까지의 은닉 상태를 입력으로 받아, 각 단계에서 조합된 벡터를 출력하는 순환 신경망(RNN)을 사용한다.
• RNN은 관계 벡터를 순차적으로 조합하며, 각 단계에서 은닉 상태를 갱신하여 성장하는 경로의 의미를 반영한다.
• 전체 경로를 처리한 후, 최종 RNN 은닉 상태를 사용하여 경로의 첫 번째와 마지막 엔티티 사이의 관계를 예측한다.
• 표준 예측을 위해 관계 유형별로 별도의 RNN을 학습하거나, 훈련 중에 볼 수 없었던 관계에 대해 제로샷 학습을 위해 단일 공유 RNN을 사용한다.
• 관계의 분산된 벡터 표현을 활용하여 의미적 이웃 영역을 통해 일반화를 가능하게 하며, 모든 경로를 명시적으로 나열할 필요 없이 처리한다.
• 여러 RNN의 앙상블 예측을 통해 정확도를 향상시키고 국소 최적점 문제를 완화한다.

실험 결과

연구 질문

• RQ1 훈련 중에 볼 수 없었던 다중 히프 관계 경로에 대해 구성적 RNN 모델이 일반화할 수 있는가?
• RQ2 단일 RNN 조합 함수가 훈련 중에 볼 수 없었던 관계 유형에 대해 제로샷 예측을 가능하게 하는가?
• RQ3 관계 벡터의 비원자적 조합이 지식 기반 완성에서 원자적 경로 특징 모델보다 우수한가?
• RQ4 벡터 임베딩과 함께 RNN을 사용할 경우, 기존 분류기나 사전 학습된 임베딩 대비 일반화 성능이 얼마나 향상되는가?
• RQ5 대규모 지식 기반에서 경로 길이와 관계 다양성 증가에 따라 모델 성능은 어떻게 변화하는가?

주요 결과

• RNN 기반의 구성적 모델은 5200만 트리플 데이터셋에서 기존의 경로 랭킹 분류기 대비 11% 성능 향상을 기록했다.
• 사전 학습된 관계 임베딩을 활용하는 방법보다 7% 향상된 성능을 달성했다.
• 5개의 RNN에서의 앙상블 예측은 성능을 59.16까지 끌어올렸으며, 국소 최적점 문제에 대한 저항력은 높지만 최상의 기준 모델에 비해 여전히 떨어졌다.
• 목표 관계가 훈련 데이터에 명시적으로 포함되지 않은 제로샷 모델은 랜덤 기준 모델보다 유의미하게 높은 성능(유의수준 p < 0.05)을 기록하여, 볼 수 없었던 관계에 대한 일반화 능력을 입증했다.
• 분류기에서 바이그램 경로 특징을 사용한 모델에 비해 국소 구조 패턴을 완전히 포착하지 못함으로써 성능에 한계가 있음을 확인했으며, 메모리 강화 아키텍처 도입으로 향후 개선 가능성을 시사한다.
• 결과는 RNN 조합이 복잡한 관계 경로 간의 효과적인 일반화를 가능하게 하며, 대규모 지식 기반 완성에 활용될 수 있음을 시사한다.