[논문 리뷰] Entity Linking via Dual and Cross-Attention Encoders

Oshin Agarwal, Daniel M. Bikel|arXiv (Cornell University)|2020. 04. 07.

Topic Modeling참고 문헌 14인용 수 5

한 줄 요약

이 논문은 앨리아스 테이블이 없는 두 단계 엔티티 링킹 프레임워크를 제안한다. 첫 번째 단계는 공통 임베딩 공간 내에서 밀도 벡터 유사도를 사용해 이중 인코더 모델을 활용해 후보 엔티티를 생성하고, 두 번째 단계는 BERT 기반의 교차 어텐션 인코더를 사용해 재정렬한다. 맥락에 민감한 표현과 문서 수준의 맥락을 활용함으로써, TACKBP-2010에서 SOTA 성능인 92.05%의 정확도를 달성하였으며, CoNLL-2003 학습 데이터에서 강력한 제로샷 일반화 성능을 보였다.

ABSTRACT

Entity Linking has two main open areas of research: 1) generate candidate entities without using alias tables and 2) generate more contextual representations for both mentions and entities. Recently, a solution has been proposed for the former as a dual-encoder entity retrieval system (Gillick et al., 2019) that learns mention and entity representations in the same space, and performs linking by selecting the nearest entity to the mention in this space. In this work, we use this retrieval system solely for generating candidate entities. We then rerank the entities by using a cross-attention encoder over the target mention and each of the candidate entities. Whereas a dual encoder approach forces all information to be contained in the small, fixed set of vector dimensions used to represent mentions and entities, a crossattention model allows for the use of detailed information (read: features) from the entirety of each tuple. We experiment with features used in the reranker including different ways of incorporating document-level context. We achieve state-of-the-art results on TACKBP-2010 dataset, with 92.05% accuracy. Furthermore, we show how the rescoring model generalizes well when trained on the larger CoNLL-2003 dataset and evaluated on TACKBP-2010.

연구 동기 및 목표

• 앨리아스 테이블의 한계를 해결하기 위해, 이는 편향이 있으며 정적이고 저자원 도메인에서는 자주 이용 불가능하다.
• 고정된 벡터 임베딩을 초월해 언급어와 엔티티의 맥락 표현 학습을 향상시키기 위해 전체 맥락에 대한 동적 어텐션을 가능하게 한다.
• 사전에 계산된 후보 테이블에 의존하지 않는 일반화 가능하고 종단 간 엔티티 링킹 시스템을 개발한다.
• rich한 맥락적 특징을 사용하여 교차 어텐션 메커니즘이 후보 엔티티 재정렬에 얼마나 효과적인지 평가한다.
• CoNLL-2003에서 학습한 재정렬기의 제로샷 일반화 성능이 TACKBP-2010 데이터셋에 어떻게 적용되는지 입증한다.

제안 방법

• 공통 임베딩 공간 내에서 밀도 벡터 유사도를 사용해 이중 인코더 모델(기반 모델: DEER)을 활용해 앨리아스 테이블이 없는 후보 엔티티를 생성한다.
• 각 언급어의 맥락과 후보 엔티티의 설명을 고려해, 언급어, 맥락, 후보 엔티티의 설명에 대해 어텐션을 수행하는 교차 어텐션 BERT 인코더를 사용해 상위-k 후보를 재정렬한다.
• 문서 수준의 맥락을 재정렬기의 입력 특징으로 통합하여, 백오프 워드 및 BERT 기반 인코딩 전략을 사용한다.
• CoNLL-2003에서 재정렬기를 학습하고 TACKBP-2010에서 평가하여 제로샷 일반화 능력을 테스트한다.
• 이중 인코더를 사용한 효율적 검색과 BERT 기반 재정렬을 통한 맥락 인식 디스amb이게이션을 수행하는 두 단계 파이프라인을 구현한다.
• 이중 인코더에는 GloVe 임베딩을, 재정렬기는 BERT를 사용하여 효율성과 표현력의 균형을 확보한다.

실험 결과

연구 질문

• RQ1 앨리아스 테이블에 의존하지 않고도 이중 인코더 모델이 효과적으로 후보 엔티티를 생성할 수 있는가?
• RQ2 전체 언급어 및 엔티티 맥락에 대한 어텐션을 허용하는 교차 어텐션 BERT 모델이 엔티티 링킹 정확도를 향상시킬 수 있는가?
• RQ3 문서 수준의 맥락이 재정렬 단계에서 디스amb이게이션 성능 향상에 얼마나 기여하는가?
• RQ4 CoNLL-2003에서 학습한 재정렬기가 TACKBP-2010과 같은 더 작은, 다른 데이터셋에 잘 일반화되는가?
• RQ5 고정된 차원의 이중 인코더 표현에 비해 교차 어텐션 메커니즘이 성능 향상에 얼마나 기여하는가?

주요 결과

• 제안된 방법은 TACKBP-2010 데이터셋에서 SOTA 성능인 92.05%의 정확도를 달성하여 이전 시스템을 능가한다.
• 교차 어텐션 재정렬기는 맥락에 민감한 어텐션을 가능하게 하여 이중 인코더 베이스라인에 비해 성능을 크게 향상시킨다.
• CoNLL-2003에서 학습한 재정렬기는 TACKBP-2010에 대해 잘 일반화되어 있으며, 대상 데이터셋에 대한 미세조정 없이도 높은 정확도를 달성한다.
• 학습 중에 관련이 없는 위치 정보를 성공적으로 무시함으로써, 강력한 어텐션 학습 능력을 보였다.
• 절단 실험 결과, 문서 수준의 맥락과 엔티티 설명이 디스amb이게이션에 의미 있는 기여를 한다는 것이 확인되었다.
• 이 프레임워크는 강력한 제로샷 일반화 성능을 보이며, 재학습 없이도 저자원 도메인에의 구현 가능성을 시사한다.