[논문 리뷰] EntQA: Entity Linking as Question Answering

Wenzheng Zhang, Wenyue Hua외 1명|arXiv (Cornell University)|2021. 10. 05.

Topic Modeling참고 문헌 41인용 수 24

한 줄 요약

EntQA는 전통적인 파ipeline을 뒤집어, 먼저 밀도 기반 검색을 통해 후보 엔티티를 검색한 다음 독해 모델을 통해 그들의 언급을 식별하는 새로운 엔티티 링킹 프레임워크를 제안한다. 이는 AIDA-CoNLL에서 2.1의 절대 F1 향상과 8개 데이터셋에서 매크로 F1 기준 2.3의 향상을 기록하며 최신 기준 성능을 달성했으며, 언급-후보 사전이나 대규모 약한 감독에 의존하지 않는다.

ABSTRACT

A conventional approach to entity linking is to first find mentions in a given document and then infer their underlying entities in the knowledge base. A well-known limitation of this approach is that it requires finding mentions without knowing their entities, which is unnatural and difficult. We present a new model that does not suffer from this limitation called EntQA, which stands for Entity linking as Question Answering. EntQA first proposes candidate entities with a fast retrieval module, and then scrutinizes the document to find mentions of each candidate with a powerful reader module. Our approach combines progress in entity linking with that in open-domain question answering and capitalizes on pretrained models for dense entity retrieval and reading comprehension. Unlike in previous works, we do not rely on a mention-candidates dictionary or large-scale weak supervision. EntQA achieves strong results on the GERBIL benchmarking platform.

연구 동기 및 목표

• 기존 엔티티 링킹에서 언급을 예측한 후에 그에 해당하는 엔티티를 찾아내는 방식이 자연스럽지 않으며 오류가 발생하기 쉬운 본질적 딜레마를 해결하기 위해.
• 파이프라인을 뒤집어 먼저 후보 엔티티를 검색한 후 문서 내에서 그들의 언급을 식별함으로써 엔티티 링킹 성능을 향상시키기 위해.
• 모델에 편향을 주고 일반화 능력을 제한할 수 있는 지식 기반 특화 언급-후보 사전에 의존하지 않도록 하기 위해.
• 산업 규모의 약한 감독을 위한 사전학습이 필요로 하지 않기 때문에, 학술 연구자들이 접근 가능한 자료 효율적인 학습을 가능하게 하기 위해.
• 최근의 밀도 기반 엔티티 검색 및 개방도 질의응답 기술의 발전을 활용하여 더 견고하고 확장 가능한 엔티티 링킹 시스템을 만들기 위해.

제안 방법

• EntQA는 문서 컨텍스트를 기반으로 지식 기반에서 상위-K 후보 엔티티를 검색하기 위해 이중 인코더 밀도 기반 검색 모델을 사용하며, 엔티티를 '질문'으로 간주한다.
• 각 검색된 후보 엔티티에 대해, 교차 어텐션 기반 독해 모델이 문서를 스캔하여 하나 이상의 언급 스판을 예측하며, 이를 '답안'으로 간주한다.
• 고정 길이 출력 제약 조건을 피하기 위해 동적 기반 임계값 전략을 사용하여 유효한 언급 예측를 결정한다.
• 모델은 엔드 투 엔드로 학습 가능하며, 사전 학습된 모델을 활용한다: 검색에는 BLINK, 독해 모델에는 QA 데이터셋에 피니팅된 ELECTRA를 사용한다.
• 최종 예측을 연기함으로써 일대일 분류나 BIO 태깅을 피하고, 글로벌 재정렬을 가능하게 하여 스팸 탐지 정확도를 향상시킨다.
• 모델은 후보 엔티티와 언급의 수가 알 수 없는 유연한 출력을 지원하므로, 중첩되거나 겹치는 엔티티 언급에도 적합하며(미래 작업으로 남겨둠).

실험 결과

연구 질문

• RQ1 언제나 언급 탐지 이전에 엔티티 검색을 수행하는 파이프라인을 뒤집는 방식이 성능 향상과 오류 전파 감소에 기여할 수 있는가?
• RQ2 밀도 기반 엔티티 검색과 개방도 질의응답 모델을 조합하여 언급-후보 사전에 의존하지 않고도 엔티티 링킹 문제를 효과적으로 해결할 수 있는가?
• RQ3 임계값 기반 추론 메커니즘이 문서 내에서 변동하는 수의 엔티티 언급을 얼마나 잘 처리할 수 있는가?
• RQ4 GENRE와 같은 최신 기준 모델과 비교했을 때, EntQA는 자료 효율성과 약한 감독 의존도 측면에서 어떤 성능을 보이는가?
• RQ5 모델이 자연스럽게 중첩되거나 겹치는 엔티티 언급을 지원할 수 있으며, 이는 실세계 응용에 어떤 영향을 미칠 수 있는가?

주요 결과

• EntQA는 AIDA-CoNLL 테스트 세트에서 도메인 내 F1 점수 85.8을 기록하여 이전 방법 대비 2.1 점의 절대 향상을 달성했다.
• 8개 평가 데이터셋에서의 매크로 평균 F1 점수는 60.5로, 이는 이전 최신 기준 모델 대비 2.3 점의 절대 향상이다.
• 검색 모듈은 AIDA 검증 세트에서 98% 이상의 상위-100 리콜을 달성하여, 언급을 알지 못한 채 관련 엔티티를 찾는 것이 매우 효과적임을 확인했다.
• 독해 모델은 합리적인 예측을 하며, 예를 들어 누락된 하이퍼링크를 올바르게 식별하거나 골드 레이블보다 더 구체적인 정확한 엔티티에 연결하는 데 성공했다.
• 엔티티 오류를 무시하고 언급 스판 정확도만 측정했을 때 F1 점수는 92.3에 이르며, 강력한 언급 탐지 능력을 보여준다.
• 독해 모델의 파assage 수준 F1 점수는 엔티티 수락/기각에 대해 64.5이지만, 문서 수준에서는 89.3으로 향상되어, 주요 병목 현상이 후보 엔티티 중에서 골드 엔티티를 비골드 엔티티와 구분하는 데 있음을 시사한다.