[논문 리뷰] ReFinED: An Efficient Zero-shot-capable Approach to End-to-End Entity Linking

Tom Ayoola, Shubhi Tyagi외 3명|arXiv (Cornell University)|2022. 07. 08.

Topic Modeling인용 수 6

한 줄 요약

ReFinED는 엔티티 설명과 유형을 사용하여 한 번의 순방향 전파로 언급 탐지, 세분화된 엔티티 유형 지정, 엔티티 해석을 공동으로 수행하는 빠르고 종단 간 엔티티 링킹 모델이다. 이는 기존 방법보다 평균 3.7 F1 포인트 향상된 최신 기술 수준의 성능을 달성하면서도 고정밀도 기준선보다 60배 이상 빠르며, Wikidata의 9000만 개 이상 엔티티를 지원하는 웹 스케일 데이터셋에 효율적으로 구현할 수 있다.

ABSTRACT

We introduce ReFinED, an efficient end-to-end entity linking model which uses fine-grained entity types and entity descriptions to perform linking. The model performs mention detection, fine-grained entity typing, and entity disambiguation for all mentions within a document in a single forward pass, making it more than 60 times faster than competitive existing approaches. ReFinED also surpasses state-of-the-art performance on standard entity linking datasets by an average of 3.7 F1. The model is capable of generalising to large-scale knowledge bases such as Wikidata (which has 15 times more entities than Wikipedia) and of zero-shot entity linking. The combination of speed, accuracy and scale makes ReFinED an effective and cost-efficient system for extracting entities from web-scale datasets, for which the model has been successfully deployed. Our code and pre-trained models are available at https://github.com/alexa/ReFinED

연구 동기 및 목표

• Wikidata와 같은 대규모 지식 기반에서 새로운 엔티티에 대해 제로샷 일반화가 가능한 효율적인 종단 간 엔티티 링킹 시스템을 개발하는 것.
• 기존 제로샷 EL 모델의 계산 비효율성 문제를 해결하여 다중 순방향 전파 또는 순차적 디코딩이 필요로 하지 않는 것.
• 기존 최고 수준의 성능을 초월하면서도 낮은 추론 지연을 유지하는 성능 향상.
• 기존의 기술보다 훨씬 더 빠른 속도를 확보하여 빌리언 페이지 웹 스케일 데이터셋에 대해 확장 가능한 배포를 가능하게 하는 것.
• 언급 탐지, 유형 지정, 해석을 하나의 자가 포함된 모델로 통합함으로써 생산 환경에서의 배포를 단순화하는 것.

제안 방법

• ReFinED는 한 번의 순방향 전파 내에서 문서 내 모든 언급과 후보 지식 기반 엔티티를 단일 트랜스포머 기반 인코더로 공동으로 인코딩한다.
• 세분화된 엔티티 유형과 전체 엔티티 설명을 입력 특징으로 통합하여 재학습 없이도 해석 성능 향상을 도모한다.
• 다중 작업 학습 목적을 사용하여 언급 탐지, 세분화된 엔티티 유형 지정, 엔티티 해석을 공동으로 학습한다.
• 훈련 중에 볼 수 없었던 엔티티에 대해서도 제로샷 일반화 성능을 향상시키기 위해 위키백과 하이퍼링크에서 사전 학습한다.
• 모델은 모든 언급과 후보를 동시에 인코딩하여 다중 추론 전파를 피함으로써 계산 비용을 감소시킨다.
• Wikidata 삼항관계에서 유도된 원거리 감독 데이터셋으로 파생된 데이터셋을 사용해 모델을 미세조정하여 대규모 지식 기반에 대한 확장성을 확보한다.

실험 결과

연구 질문

• RQ1 일관된 효율성과 낮은 지연 시간을 유지하면서도 단일의 빠른 트랜스포머 기반 모델이 언급 탐지, 엔티티 유형 지정, 엔티티 해석을 고정밀도로 공동 수행할 수 있는가?
• RQ2 세분화된 엔티티 유형과 전체 설명을 통합함으로써, Wikidata와 같이 대규모 지식 기반에서 볼 수 없었던 엔티티에 대해 강력한 제로샷 일반화가 가능한가?
• RQ3 기존의 제로샷 기반 기준선보다 훨씬 더 빠른 속도를 확보하면서도 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ4 위키백과보다 15배 더 많은 엔티티를 가진 지식 기반, 예를 들어 Wikidata와 같은 기반에 대해 성능 저하 없이 확장 가능한가?
• RQ5 최소한의 운영 오버헤드로 빌리언 페이지 웹 스케일 데이터셋에 대해 효율적으로 배포 가능한가?

주요 결과

• ReFinED는 8개의 표준 엔티티 링킹 데이터셋에서 기존 방법보다 평균 3.7 F1 포인트 향상되어 새로운 최고 기록을 수립했다.
• WikiLinkNED에서의 새로운 언급 벤치마크에서 ReFinED는 68.2 F1을 기록하여 다음으로 좋은 모델보다 4.9 포인트 높은 성능을 보였다.
• ReFinED는 BLINK 크로스 인코더보다 60배, Cao 등(2020)의 순차적 디코딩 모델보다 140배 더 빠르며, AIDA-CoNLL 데이터셋에서 추론 시간은 단 15초였다.
• 250억 개의 언급을 10억 개의 웹 페이지에서 처리하는 데 27,000개의 머신 시간(500개의 T4 GPU에서 2일)이 소요되었으며, 이는 비용 효율적인 확장성을 입증한다.
• 위키백과 중심의 지식 기반을 넘어서 Wikidata에서도 강력한 성능 유지를 보이며, 위키백과보다 15배 더 많은 엔티티를 처리함으로써 확장성의 증명을 하였다.
• 단일 순방향 전파 추론 설계 덕분에 BLINK 바이엔코더 대비 운영 비용을 6배 이상 절감하고, 순차적 디코딩 모델 대비 140배 이상 절감하였다.