[논문 리뷰] Boosting Entity Linking Performance by Leveraging Unlabeled Documents

Phong Ba Le, Ivan Titov|arXiv (Cornell University)|2019. 06. 04.

Topic Modeling참고 문헌 24인용 수 7

한 줄 요약

이 논문은 인간의 레이블이 없는 데이터를 사용하지 않고도 완전히 감독된 최신 기술 수준의 시스템과 견줄 만한 성능을 달성하기 위해 위키백과와 레이블이 없는 문서를 활용하는 약한 감독을 받는 엔티티 링킹 모델을 제안한다. 위키백과의 링크 통계를 사용해 고재현율의 후보 목록을 생성하고, 이를 약한 감독으로 삼아 문서 수준의 신경망 모델을 훈련시킴으로써 인간이 레이블을 붙인 데이터 없이도 엔티티의 일관성과 국소적 맥락 인식 능력을 학습한다. 이는 이전의 위키백과 기반 방법보다 우수하며, AIDA CoNLL에서 조차도 레이블이 없는 데이터를 사용하지 않은 채로 감독 모델과 동등한 성능을 기록한다.

ABSTRACT

Modern entity linking systems rely on large collections of documents specifically annotated for the task (e.g., AIDA CoNLL). In contrast, we propose an approach which exploits only naturally occurring information: unlabeled documents and Wikipedia. Our approach consists of two stages. First, we construct a high recall list of candidate entities for each mention in an unlabeled document. Second, we use the candidate lists as weak supervision to constrain our document-level entity linking model. The model treats entities as latent variables and, when estimated on a collection of unlabelled texts, learns to choose entities relying both on local context of each mention and on coherence with other entities in the document. The resulting approach rivals fully-supervised state-of-the-art systems on standard test sets. It also approaches their performance in the very challenging setting: when tested on a test set sampled from the data used to estimate the supervised systems. By comparing to Wikipedia-only training of our model, we demonstrate that modeling unlabeled documents is beneficial.

연구 동기 및 목표

• 비용이 많이 드는 인간이 레이블을 붙인 학습 데이터가 필요 없는 엔티티 링킹 시스템을 개발하는 것.
• 레이블이 없는 문서를 통합함으로써 위키백과 기반 엔티티 링킹의 성능을 향상시키는 것.
• 레이블이 없는 데이터에서 문서 수준의 일관성 모델링이 완전히 감독된 시스템과 견줄 수 있음을 보여주는 것.
• 위키백과와 레이블이 없는 텍스트로부터의 약한 감독이 비용이 많이 드는 인간의 레이블을 대체할 수 있는지 조사하는 것.
• 저자원 환경 및 도메인 외부 테스트 설정에서 모델의 견고성 평가하기

제안 방법

• 위키백과의 링크 그래프와 정점 유도 부분그래프를 사용해 레이블이 없는 문서의 언급에 대해 고재현율 후보 엔티티 목록을 구성한다.
• 위키백과 링크 그래프에 대해 파rameter-free 메시지 전파 모델을 적용하여 링크 통계를 전파하고 후보 집합을 생성한다.
• 엔티티를 잠재 변수로 간주하고 후보 목록을 약한 감독 제약 조건으로 사용하는 문서 수준의 신경망 모델을 훈련시킨다.
• 후보 목록과 일치하는 엔티티 할당을 선호하면서도 문서 전체에서 엔티티 공존의 일관성을 선호하도록 모델을 최적화한다.
• 훈련 중에 각 언급의 국소적 맥락과 문서 내 다른 엔티티와의 전반적 일관성을 모두 활용한다.
• 국소적 맥락과 문서 수준의 엔티티 일관성을 동시에 모델링하는 미분 가능한 스코어링 함수를 사용한다.

실험 결과

연구 질문

• RQ1 위키백과와 레이블이 없는 문서에서 훈련된 약한 감독 엔티티 링커가 완전히 감독된 모델의 성능을 따라할 수 있는가?
• RQ2 레이블이 없는 데이터에서 문서 수준의 일관성 모델링이 단순한 위키백과 링크 예측을 넘어서 엔티티 링킹 성능을 향상시키는가?
• RQ3 제안된 방법은 도메인 외부 테스트 세트에서 어떻게 작동하는가? 특히 감독 모델이 훈련된 동일한 분포의 데이터에서 테스트했을 때 어떻게 되는가?
• RQ4 레이블이 없는 문서가 성능 향상에 기여하는 정도는 어떻게 되며, 위키백과 링크만 사용하는 경우와 비교해 볼 때 어떤가?
• RQ5 특정 명명된 엔티티 유형에서는 성능이 현저히 낮은 편인지, 그리고 그 이유는 무엇인가?

주요 결과

• 제안된 모델은 여섯 개의 표준 테스트 세트 중 네 개에서 가장 높은 F1 스코어를 기록했으며, 모든 벤치마크에서 평균 성능도 최고였다.
• AIDA CoNLL 테스트 세트—이전에 완전히 감독된 모델이 훈련된 데서—시스템은 93.1%의 F1 스코어를 기록하여 감독 모델의 최고 내부 도메인 성능와 동일한 결과를 달성했다.
• 이전의 위키백과 기반 링커들과 직접 위키백과 링크를 예측하는 베이스라인보다도 성능이 뛰어나며, 문서 수준의 모델링이 유의미한 이점을 제공함을 입증했다.
• PER(사람) 유형의 경우 97.20%의 정확도를 기록했으며, 완전히 감독된 모델의 97.73%보다 0.53% 떨어지기만 했다.
• 모델이 가장 어려움을 겪는 것은 MISC 유형, 특히 국적과 언어를 구분하는 데서였으며(예: '영어'를 사람으로 잘못 인식하는 경우), 정확도는 75.71%였고 감독 모델의 83.27%보다 낮았다.
• 제거 실험 결과, 국소적 맥락 모델링과 문서 수준의 일관성 모두가 필수적이며, 각각이 성능 향상에 크게 기여하는 것으로 확인되었다.