[논문 리뷰] Read, Retrospect, Select: An MRC Framework to Short Text Entity Linking

Yingjie Gu, Xiaoye Qu외 4명|arXiv (Cornell University)|2021. 01. 07.

Topic Modeling참고 문헌 26인용 수 8

한 줄 요약

이 논문은 짧은 텍스트의 실체 연결을 위한 다중 전환 다중 선택 기계 독해 프레임워크인 M3을 제안한다. 이 프레임워크는 실체 해석을 질의 생성과 후보 선택 문제로 재정의한다. 맥락 인식 질의, 후보와의 토큰 수준 상호작용, 다중 전환 역사 인식 메커니즘을 활용하여 M3는 최신 기술 수준(SOTA) 성능을 달성하며, 이전 방법 대비 Wechat에서 F1 점수를 5.62점 향상시키고 Webscope에서 5.03점 향상시켰다.

ABSTRACT

Entity linking (EL) for the rapidly growing short text (e.g. search queries and news titles) is critical to industrial applications. Most existing approaches relying on adequate context for long text EL are not effective for the concise and sparse short text. In this paper, we propose a novel framework called Multi-turn Multiple-choice Machine reading comprehension (M3}) to solve the short text EL from a new perspective: a query is generated for each ambiguous mention exploiting its surrounding context, and an option selection module is employed to identify the golden entity from candidates using the query. In this way, M3 framework sufficiently interacts limited context with candidate entities during the encoding process, as well as implicitly considers the dissimilarities inside the candidate bunch in the selection stage. In addition, we design a two-stage verifier incorporated into M3 to address the commonly existed unlinkable problem in short text. To further consider the topical coherence and interdependence among referred entities, M3 leverages a multi-turn fashion to deal with mentions in a sequence manner by retrospecting historical cues. Evaluation shows that our M3 framework achieves the state-of-the-art performance on five Chinese and English datasets for the real-world short text EL.

연구 동기 및 목표

• 검색 질의나 뉴스 제목과 같은 짧은 텍스트에서 저맥락 실체 연결 문제를 해결하기 위해.
• 언급 맥락과 후보 실체 간의 세밀한 상호작용을 가능하게 하여 실체 해석 정확도를 향상시키기 위해.
• 두 단계 검증 전략을 통해 연결 불가능한 언급( NIL 실체)을 처리하기 위해.
• 다중 전환 후행 분석 메커니즘을 통해 다중 언급 간 주제적 의존성을 모델링하여 전반적인 일관성을 향상시키기 위해.
• 실제 짧은 텍스트 실체 연결 벤치마크에서 기존 방법들을 능가하기 위해.

제안 방법

• 언급의 맥락에서 질의를 생성함으로써 짧은 텍스트 실체 연결을 다중 전환 다중 선택 기계 독해 과제로 재구성한다.
• 질의와 후보 실체 간 토큰 단위 상호작용을 수행하는 옵션 선택 모듈을 활용하여 어휘적, 문법적, 의미적 유사성을 포착한다.
• 거친 후보에서 세밀한 후보로 읽는 전략을 적용한 두 단계 NIL 검증기 도입으로 강건성을 확보한다.
• 기존 디코딩 단계에 역사적 실체 신호를 선택적으로 통합하기 위해 제어 가능한 게이트 메커니즘을 사용하여 잡음 정보를 걸러낸다.
• 다양한 언급에 대해 동적으로 분류 결정을 누적하여 이후 언급의 맥락으로 활용하는 다중 전환 인코딩 전략을 적용한다.
• 실체 연결 손실에 대해 엔드 투 엔드로 훈련하는 프리트레인드 언어 모델을 활용해 질의 및 후보 인코딩을 수행한다.

실험 결과

연구 질문

• RQ1 다중 선택 MRC 철학이 이진 분류나 순위 기반 방법에 비해 실체 연결 정확도를 향상시키는가?
• RQ2 두 단계 NIL 검증기는 짧은 텍스트에서 연결 불가능한 언급을 탐지하고 처리하는 데 얼마나 효과적인가?
• RQ3 다중 전환 후행 분석을 통해 언급 간 주제적 일관성을 모델링할 경우 실체 해석 성능 향상 정도는 어느 정도인가?
• RQ4 역사적 실체 정보 통합이 오류 수정과 전반적 일관성 향상에 미치는 영향은 어떠한가?
• RQ5 M3 프레임워크는 다양한 짧은 텍스트 도메인과 언어에 일반화되는가?

주요 결과

• 이전 SOTA 모델(Cheng 등, 2019) 대비 Wechat 데이터셋에서 F1 점수를 5.62점 향상시켰다.
• Webscope 데이터셋에서 다섯 번의 실행 평균으로 F1 점수를 평균 5.03점 향상시켜 뛰어난 일반화 능력을 입증했다.
• 다중 선택 철학은 특히 어휘적 유사성 상황에서 모호한 후보 간 미세한 차이를 더 잘 포착함으로써 이진 분류에 비해 유의미하게 뛰어난 성능을 보였다.
• qualitative 분석에서 NIL 검증기는 KB 실체로의 허위 연결을 30% 감소시켜 NIL 탐지 정확도를 향상시켰다.
• 다중 전환 전략은 도메인 내 텍스트에서 평균 1.65% 향상되었고, 도메인 외 텍스트에서는 1.68% 향상되었으며, 5개 언급과 2개 언급 텍스트에서 각각 최대 2.1%와 2.6%의 성능 향상을 기록했다.
• Ablation 실험 결과 제어 가능한 게이트 메커니즘과 전체 역사 흐름이 필수적임을 확인하였으며, 이들을 제거할 경우 정확도가 각각 0.44점, 0.44점 감소했다.