[논문 리뷰] Learning Distributed Representations of Texts and Entities from Knowledge Base

Ikuya Yamada, Hiroyuki Shindo외 2명|arXiv (Cornell University)|2017. 05. 06.

Topic Modeling참고 문헌 41인용 수 8

한 줄 요약

이 논문은 위키백과의 인간이 수정한 엔티티 링크를 기반으로 훈련하여 텍스트와 지식 기반(KB) 엔티티의 분산 표현을 공동으로 학습하는 신경망 모델인 신경 텍스트-엔티티 인코더(NTEE)를 제안한다. 모델은 텍스트와 엔티티 벡터를 공유되는 임bedding 공간에서 정렬함으로써 소프트맥스 기반 예측 목적함수를 사용하여 의미적 텍스트 유사도, 엔티티 링킹, 팩토이드 질의응답 등에서 최고 성능을 달성한다.

ABSTRACT

We describe a neural network model that jointly learns distributed representations of texts and knowledge base (KB) entities. Given a text in the KB, we train our proposed model to predict entities that are relevant to the text. Our model is designed to be generic with the ability to address various NLP tasks with ease. We train the model using a large corpus of texts and their entity annotations extracted from Wikipedia. We evaluated the model on three important NLP tasks (i.e., sentence textual similarity, entity linking, and factoid question answering) involving both unsupervised and supervised settings. As a result, we achieved state-of-the-art results on all three of these tasks. Our code and trained models are publicly available for further academic research.

연구 동기 및 목표

• 텍스트와 KB 엔티티의 분산 표현을 공동으로 학습하는 일반적인 신경망 모델을 개발하기 위해.
• 위키백과의 인간이 수정한 엔티티 애너테이션을 활용하여 텍스트 및 엔티티 표현 학습을 위한 감독 신호로 활용하기 위해.
• 다양한 NLP 작업, 비감독 및 감독 설정을 포함하여 공동 텍스트-엔티티 임베딩의 효과성을 평가하기 위해.
• 공동 표현이 의미적 텍스트 유사도, 엔티티 링킹, 팩토이드 질의응답에서 기존 방법들을 능가함을 입증하기 위해.
• 향후 공동 텍스트-엔티티 표현 학습 분야의 학술 연구를 지원하기 위해 코드와 모델을 공개하기 위해.

제안 방법

• 모델은 주어진 텍스트 입력에 대해 관련된 KB 엔티티의 가능성을 최대화하기 위해 소프트맥스 기반 예측 목적함수를 사용한다.
• 텍스트 표현은 단어 벡터의 L2 정규화된 합계를 계산한 후 완전히 연결된 신경망 층을 거친다.
• 엔티티와 텍스트 벡터는 공유되는 d차원 연속 벡터 공간에 임베딩되며, 유사도는 코사인 유사도로 측정된다.
• 모델은 대규모 위키백과 텍스트 코퍼스와 그에 해당하는 엔티티 애너테이션을 기반으로 엔드 투 엔드로 훈련된다.
• 하류 작업에서는 학습된 표현을 입력 특징으로 사용하는 다층 퍼셉트론(MLP) 분류기를 사용한다.
• 훈련 목적함수는 관련 엔티티를 해당 텍스트와 벡터 공간에서 가까이 위치시키도록 유도한다.

실험 결과

연구 질문

• RQ1 위키백과의 엔티티 애너테이션을 활용하여 텍스트와 엔티티 표현을 공동으로 학습하면 NLP 작업 성능 향상에 기여할 수 있는가?
• RQ2 의미적 텍스트 유사도 측면에서 학습된 공동 표현은 최고 수준의 기존 방법들과 비교해 어떻게 성능을 냈는가?
• RQ3 공동 텍스트-엔티티 임베딩은 어느 정도 수준까지 엔티티 링킹 및 팩토이드 질의응답 성능 향상에 기여하는가?
• RQ4 스킵그램과 같은 전통적인 워드 임베딩과 비교해 학습된 표현의 특성은 어떻게 다를까?
• RQ5 공동 표현 모델은 엔티티 링킹을 넘어서 보다 광범위한 NLP 응용 분야에 효과적으로 적용될 수 있는가?

주요 결과

• 제안된 NTEE 모델은 의미적 텍스트 유사도 작업에서 최고 성능을 기록하였으며, 비감독 설정에서도 기존 방법들을 능가하였다.
• CoNLL 2003 및 TAC 2010 데이터셋에서 NTEE는 학습된 표현을 사용하는 단순한 MLP 분류기를 활용하여 엔티티 링킹에서 새로운 최고 성능을 기록하였다.
• 팩토이드 질의응답 작업에서는 퀴즈 볼 기반 데이터셋에서 최고 성능을 달성하여 개방형 QA에서의 효과성을 입증하였다.
• 정성적 분석 결과, 학습된 표현은 스킵그램 워드 임베딩와는 의미적으로 뚜렷이 다름을 보였으며, 이는 별개의 의미적 성질을 지닌다는 것을 시사한다.
• 모델의 일반적인 특성 덕분에 아키텍처의 최소한의 변경으로 다양한 NLP 작업에 쉽게 적용할 수 있었다.
• 저자들은 재현성과 향후 연구를 지원하기 위해 https://github.com/studio-ousia/ntee 에 코드와 학습된 모델을 공개하였다.