[논문 리뷰] Improving Entity Linking by Modeling Latent Entity Type Information

Shuang Chen, Jinpeng Wang외 2명|arXiv (Cornell University)|2020. 01. 06.

Topic Modeling참고 문헌 34인용 수 5

한 줄 요약

이 논문은 BERT 기반 엔티티 임베딩에 잠재적 엔티티 유형 정보를 통합하고, 국소적 맥락 모델에 BERT 기반 엔티티 유사도 점수를 통합함으로써 신경 엔티티 링킹을 향상시킨다. 이 방법은 형식 오류를 크게 줄이며, 형식 오류의 67.03%를 수정함으로써 AIDA-CoNLL에서 1.32%p의 절대 F1 향상과 다섯 개의 이질도 데이터셋 평균 F1에서 0.80% 향상을 이룬다.

ABSTRACT

Existing state of the art neural entity linking models employ attention-based bag-of-words context model and pre-trained entity embeddings bootstrapped from word embeddings to assess topic level context compatibility. However, the latent entity type information in the immediate context of the mention is neglected, which causes the models often link mentions to incorrect entities with incorrect type. To tackle this problem, we propose to inject latent entity type information into the entity embeddings based on pre-trained BERT. In addition, we integrate a BERT-based entity similarity score into the local context model of a state-of-the-art model to better capture latent entity type information. Our model significantly outperforms the state-of-the-art entity linking models on standard benchmark (AIDA-CoNLL). Detailed experiment analysis demonstrates that our model corrects most of the type errors produced by the direct baseline.

연구 동기 및 목표

• 최신 신경 엔티티 링킹 모델에서 자주 발생하는 형식 오류의 비율을 낮추기 위해.
• 기존 모델이 바로 근접한 맥락에서 잠재적 엔티티 유형 신호(예: 위치 유형을 시사하는 전치사)를 포착하지 못하는 이유를 탐구하기 위해.
• 멘션 주변의 BERT 인코딩 맥락에서 유형에 민감한 임베딩을 학습하여 엔티티 표현을 향상시키기 위해.
• 국소적 맥락 모델에 BERT 기반 엔티티 유사도 점수를 통합하여 유형 호환성을 더 잘 포착하기 위해.
• 주제 수준의 호환성에 의존하는 것을 줄이고 엔티티 표현의 유형 인식 능력을 향상시키기 위해.

제안 방법

• 동일한 엔티티에 링킹되는 모든 멘션의 BERT 인코딩 맥락 표현을 평균하여 엔티티 임베딩에 잠재적 엔티티 유형 정보를 통합한다.
• 멘션 주변의 즉각적 맥락을 사전에 훈련된 BERT로 인코딩하여, 멘션을 [MASK]로 대체함으로써 문법적 및 의미적 신호를 포착한다.
• 평균 풀링을 통해 맥락 표현을 집계하여 각 엔티티에 대해 공유되는, 유형 인식이 된 엔티티 임베딩를 구성한다.
• 최신 엔티티 링커의 국소적 맥락 모델에 BERT 기반 엔티티 유사도 점수를 통합하여 유형 인식 매칭을 향상시킨다.
• 도메인 적응을 위해 BERT를 미세조정하고, 사전 훈련된 표현을 활용하여 맥락 및 엔티티 표현 품질을 향상시킨다.
• 개발 세트 성능 기반 조기 정지 전략을 사용하여, 엔티티 유형에 대해 다중 레이블 이진 교차 엔트로피 손실을 사용해 모델을 훈련한다.

실험 결과

연구 질문

• RQ1 최신 신경 엔티티 링킹 모델이 강력한 맥락 모델링을 갖추고도 왜 자주 형식 오류를 범하는가?
• RQ2 즉각적 맥락 내 잠재적 엔티티 유형 정보를 얼마나 효과적으로 활용할 수 있는가?
• RQ3 백오프 워드 어텐션 모델에 비해 BERT 기반 맥락 인코딩이 엔티티 유형 신호를 포착하는 데 얼마나 더 효과적인가?
• RQ4 BERT 기반 엔티티 임베딩가 더 유형에 민감한 표현을 학습함으로써 형식 불일치를 줄일 수 있는가?
• RQ5 국소적 맥락 모델에 BERT 기반 엔티티 유사도 점수를 통합하는 것이 형식 오류 수정에 얼마나 효과적인가?

주요 결과

• 제안된 모델은 베이스라인 대비 도메인 내 AIDA-CoNLL 테스트 세트에서 1.32%p의 절대 F1 향상을 달성한다.
• 다섯 개의 이질도 테스트 세트에서 다섯 번의 실행 평균 F1이 0.80% 향상된다.
• 이 방법은 최신 베이스라인 모델이 생성한 형식 오류의 67.03%를 수정한다.
• 가장 가까운 맥락 검색 결과에서 모델의 맥락 표현이 전치사(예: 'In')와 같은 문법적 신호를 포착함을 확인할 수 있다. 이러한 전치사는 엔티티 유형을 시사한다.
• 가장 가까운 엔티티 검색 결과는 BERT 기반 임베딩가 형식 일관성을 유지함을 확인한다. 반면, 베이스라인 임베딩는 주제는 유사하지만 형식 호환성이 없는 엔티티를 자주 검색한다.
• 남아 있는 형식 오류는 주로 사전 및 전역 모델링의 한계로 인한 것으로 나타나, 향후 이 분야에서의 향상 여지가 있음을 시사한다.