[논문 리뷰] Global Entity Disambiguation with Pretrained Contextualized Embeddings of Words and Entities

Ikuya Yamada, Koki Washio외 2명|arXiv (Cornell University)|2020. 01. 01.

Topic Modeling참고 문헌 30인용 수 29

한 줄 요약

이 논문은 위키백과에 애너테이션된 텍스트에서 마스킹된 엔티티 예측 작업을 통해 훈련된 BERT 기반의 문맥 기반 임베딩을 활용하여 글로벌 엔티티 해석 모델을 제안한다. 엔티티 해석을 전문적인 문맥을 고려한 순차적 결정 문제로 설정함으로써, 여섯 개의 표준 데이터셋에서 최신 기술 수준(SOTA)의 성능을 달성하였으며, 유일한 예외를 제외한 모든 경우에서 이전 방법들을 능가한다.

ABSTRACT

We propose a new global entity disambiguation (ED) model based on contextualized embeddings of words and entities. Our model is based on a bidirectional transformer encoder (i.e., BERT) and produces contextualized embeddings for words and entities in the input text. The model is trained using a new masked entity prediction task that aims to train the model by predicting randomly masked entities in entity-annotated texts obtained from Wikipedia. We further extend the model by solving ED as a sequential decision task to capture global contextual information. We evaluate our model using six standard ED datasets and achieve new state-of-the-art results on all but one dataset.

연구 동기 및 목표

• 이중성 토커 전환기 인코더에서 유도된 문맥 기반 단어 및 엔티티 임베딩을 활용하여 글로벌 엔티티 해석을 향상시키기 위해.
• 기존 엔티티 해석 접근법에서 국소적 문맥 모델링의 한계를 극복하기 위해 순차적 결정을 통한 전역적 문맥 정보를 통합함으로써.
• 새로운 마스킹된 엔티티 예측 목표를 사용하여 엔티티 애너테이션된 텍스트에서 모델을 효과적으로 훈련시키기 위해.
• 표준 엔티티 해석 벤치마크에서 최신 기술 수준의 성능을 달성하기 위해.

제안 방법

• 입력 텍스트 내의 단어와 엔티티에 대해 모두 문맥 기반 임베딩을 생성하기 위해 이중성 토커 전환기 인코더(BERT)를 사용한다.
• 위키백과에 애너테이션된 텍스트에서 무작위로 마스킹된 엔티티를 모델이 예측하는 마스킹된 엔티티 예측 사전 훈련 작업을 도입한다.
• 엔티티 해석을 전역적인 문맥을 고려한 순차적 결정 문제로 확장하여 전체 문서에 걸친 전역적 문맥을 활용할 수 있도록 모델을 확장한다.
• 추론 중에 단어와 엔티티의 의미를 동시에 모델링하기 위해 트랜스포머 인코더에서 유도된 문맥 기반 표현을 활용한다.
• 표준 평가 프로토콜을 사용하여 최종 엔티티 해석 데이터셋에서 모델을 종단 간(end-to-end)으로 미세조정한다.
• 입력 시퀀스 전체로부터 유도된 문맥 특징을 통합하는 조건부 확률 모델을 사용하여 엔티티 후보를 평가한다.

실험 결과

연구 질문

• RQ1 단어와 엔티티의 공동 문맥 기반 표현을 갖춘 BERT 기반 모델이 이전 방법보다 엔티티 해석 성능을 향상시킬 수 있는가?
• RQ2 마스킹된 엔티티 예측 사전 훈련 목표가 문맥 내 단어와 엔티티 간의 관계를 효과적으로 포착하는가?
• RQ3 엔티티 해석을 순차적 결정 문제로 모델링함으로써 전역적 문맥을 활용함으로써 성능 향상이 어느 정도 이루어지는가?
• RQ4 다양한 엔티티 해석 벤치마크에서 제안된 모델이 기존 최신 기술 수준의 접근법과 비교하여 어떻게 성능을 내는가?

주요 결과

• 제안된 모델은 여섯 개의 표준 엔티티 해석 데이터셋에서 최신 기술 수준의 결과를 달성하여 일관된 성능 향상을 보였다.
• 여섯 개의 벤치마크 데이터셋 중 다섯 개에서 이전 방법들을 능가하였으며, 이는 다양한 도메인에서 광범위한 효과성을 시사한다.
• 마스킹된 엔티티 예측 사전 훈련 목표가 문맥 내에서 정확한 엔티티를 예측할 수 있는 능력을 효과적으로 향상시켰다.
• 엔티티 해석을 순차적 결정 문제로 설정함으로써 장거리 종속성과 전역적 문맥을 고려할 수 있어 성능 향상이著명하게 이루어졌다.
• 문맥 기반 단어 및 엔티티 임베딩의 통합은 단어 수준의 문맥에 의존하는 모델보다 더 정확한 엔티티 예측을 가능하게 하였다.
• 특히 장문의 문맥과 모호한 상황에서, 다양한 종류의 엔티티 애너테이션된 텍스트에 대해 강력한 일반화 성능을 보였다.