[논문 리뷰] Learning New Facts From Knowledge Bases With Neural Tensor Networks and Semantic Word Vectors

Danqi Chen, Richard Socher외 2명|arXiv (Cornell University)|2013. 01. 16.

Topic Modeling참고 문헌 11인용 수 60

한 줄 요약

이 논문은 기존의 관계 데이터에서 학습된 엔티티 표현을 사용하여 지식 기반의 새로운 관계를 예측하는 신경 텐서 네트워크(NTN) 모델을 제안한다. 이 모델은 텐서 기반의 스코어 함수를 통해 엔티티 벡터 간의 이차 상호작용을 사용한다. 무 supervision으로 학습된 단어 벡터로 초기화할 경우, 모델은 WordNet 관계를 분류하는 데 75.8%의 정확도와 100개의 후보 중 정답을 포함하는 데 20.9%의 리콜을 달성하여 유사도 모델 및 Hadamard 모델과 같은 이전 모델들을 능가한다.

ABSTRACT

Knowledge bases provide applications with the benefit of easily accessible, systematic relational knowledge but often suffer in practice from their incompleteness and lack of knowledge of new entities and relations. Much work has focused on building or extending them by finding patterns in large unannotated text corpora. In contrast, here we mainly aim to complete a knowledge base by predicting additional true relationships between entities, based on generalizations that can be discerned in the given knowledgebase. We introduce a neural tensor network (NTN) model which predicts new relationship entries that can be added to the database. This model can be improved by initializing entity representations with word vectors learned in an unsupervised fashion from text, and when doing this, existing relations can even be queried for entities that were not present in the database. Our model generalizes and outperforms existing models for this problem, and can classify unseen relationships in WordNet with an accuracy of 75.8%.

연구 동기 및 목표

• 기존 지식 기반의 불완전성을 해결하기 위해, 오직 기존 지식 기반 자료만을 사용하여 엔티티 간의 새로운 진실된 관계를 예측하는 것.
• 대규모 텍스트 코퍼스에서 학습된 분산 단어 벡터를 활용하여, 새로운 엔티티와 관계에 대한 일반화 능력을 향상시키는 것.
• 기존의 선형 또는 Hadamard 기반 접근 방식보다 더 표현력 있는 관계 모델을 개발하여 지식 기반 보완을 위한 것.
• WordNet에서의 새로운 관계에 대해 분류 및 랭킹 작업 모두에서 모델 성능을 평가하는 것.

제안 방법

• 모델은 신경 텐서 네트워크(NTN)를 사용하여, 엔티티 벡터 e₁과 e₂ 간의 이차 상호작용을 텐서 W^{[i]}를 통해 (e₁, R, e₂) 삼중항에 대한 스코어를 계산한다.
• 스코어 함수 g(e₁, R, e₂)는 Uᵀ tanh( e₁ᵀW^{[i]}e₂ + V_R [e₁; e₂] + b_R )로 정의되며, 이 텐서는 엔티티 간의 직접적 상호작용을 캡처한다.
• 엔티티 표현은 위키피디아의 대규모 텍스트 코퍼스에서 unsupervised 모델로 학습된 100차원의 사전 학습된 단어 벡터를 사용하여 초기화된다. 이는 문법적 및 의미적 정보를 포괄한다.
• 다중 단어로 구성된 엔티티 이름의 경우, 단어 벡터를 평균화하여 하나의 엔티티 표현을 형성함으로써, 새로운 엔티티에 대한 일반화를 가능하게 한다.
• 모델는 올바른 삼중항을 최적화하고 잘못된 삼중항의 스코어를 낮추기 위해 대조적 최대 마진 목적함수를 사용하여 훈련된다.
• 평가에는 분류(정확도)와 랭킹(리콜@100)이 포함되며, 진짜 삼중항에서 엔티티와 관계를 랜덤으로 섞어 부정 예시를 생성한다.

실험 결과

연구 질문

• RQ1 엔티티 벡터 간의 이차 상호작용을 갖는 신경 텐서 네트워크가 기존 선형 모델보다 지식 기반의 새로운 사실 예측에서 더 우수한 성능을 보일 수 있는가?
• RQ2 무 supervision으로 학습된 단어 벡터는 지식 기반 보완에서 새로운 엔티티와 관계에 대한 일반화 능력을 얼마나 향상시킬 수 있는가?
• RQ3 주어진 관계와 헤드 엔티티에 대해 수천 개의 후보 엔티티 중에서 정확한 엔티티를 얼마나 잘 랭킹할 수 있는가?
• RQ4 원래 지식 기반에 존재하지 않는 엔티티에 대해 예측할 때 모델은 높은 성능을 유지하는가?

주요 결과

• 의미론적 단어 벡터로 초기화된 NTN 모델은 새로운 WordNet 관계에 대해 75.8%의 분류 정확도를 달성하며, 이는 유사도 모델(66.7%)과 Hadamard 모델(71.9%)을 크게 앞서는 성능이다.
• 의미론적 초기화를 사용할 경우, 모델은 리콜@100이 20.9%에 도달하여 유사도 모델의 10.6%보다 두 배 이상 높고, Hadamard 모델의 7.4%보다 세 배 이상 높다.
• 의미론적 단어 벡터 대신 무작위 벡터로 초기화할 경우, NTN의 성능은 정확도 70.0%와 리콜@100 16.9%로 떨어지며, 사전 학습된 임bedding의 핵심적 역할을 입증한다.
• 원래 지식 기반에 존재하지 않는 엔티티에 대해서도 단어 벡터 표현을 사용하여 관계를 추론할 수 있어, 제로샷 일반화가 가능하다.
• 다중 단어 엔티티 이름에 대해 단어 벡터 평균화를 사용함으로써 통계적 강도가 향상되고, 엔티티 이름 간의 일반화가 가능해진다.
• 모델의 이차 텐서 상호작용 메커니즘은 선형 또는 Hadamard 기반 대안보다 더 표현력 있는 관계 함수를 제공하여, 랭킹 및 분류 작업 모두에서 뛰어난 성능을 내는 데 기여한다.