[논문 리뷰] Autoregressive Entity Retrieval

Nicola De Cao, Gautier Izacard외 2명|arXiv (Cornell University)|2020. 10. 02.

Topic Modeling참고 문헌 65인용 수 200

한 줄 요약

GENRE은 자기회귀 모델에서 토큰별로 고유 이름을 생성해 엔티티를 검색하며, 제한된 디코딩으로 유효한 엔티티 식별자를 출력하고, ED, EL, 및 문서 검색에서 강력한 결과를 달성하면서 메모리 사용량이 상당히 작게 유지됩니다.

ABSTRACT

Entities are at the center of how we represent and aggregate knowledge. For instance, Encyclopedias such as Wikipedia are structured by entities (e.g., one per Wikipedia article). The ability to retrieve such entities given a query is fundamental for knowledge-intensive tasks such as entity linking and open-domain question answering. Current approaches can be understood as classifiers among atomic labels, one for each entity. Their weight vectors are dense entity representations produced by encoding entity meta information such as their descriptions. This approach has several shortcomings: (i) context and entity affinity is mainly captured through a vector dot product, potentially missing fine-grained interactions; (ii) a large memory footprint is needed to store dense representations when considering large entity sets; (iii) an appropriately hard set of negative data has to be subsampled at training time. In this work, we propose GENRE, the first system that retrieves entities by generating their unique names, left to right, token-by-token in an autoregressive fashion. This mitigates the aforementioned technical issues since: (i) the autoregressive formulation directly captures relations between context and entity name, effectively cross encoding both; (ii) the memory footprint is greatly reduced because the parameters of our encoder-decoder architecture scale with vocabulary size, not entity count; (iii) the softmax loss is computed without subsampling negative data. We experiment with more than 20 datasets on entity disambiguation, end-to-end entity linking and document retrieval tasks, achieving new state-of-the-art or very competitive results while using a tiny fraction of the memory footprint of competing systems. Finally, we demonstrate that new entities can be added by simply specifying their names. Code and pre-trained models at https://github.com/facebookresearch/GENRE.

연구 동기 및 목표

• 원자-레이블 분류기 너머의 더 유연한 엔티티 검색을 구조적이고 합성 가능한 엔티티 이름을 활용하여 촉진한다.
• 입력 맥락에 조건화된 엔티티 이름을 생성하기 위한 자동회귀 seq2seq 프레임워크(GENRE)를 제안한다.
• 정해진 후보 집합에서 유효한 엔티티 식별자만 생성하도록 제약된 디코딩을 도입한다.
• GENRE가 ED, EL, 및 문서 검색에서 강력한 성능을 달성하는 동시에 메모리 사용량을 대폭 줄임을 보여준다.
• 새로운 엔티티는 후보 집합에 모호하지 않은 이름을 간단히 추가함으로써 도입될 수 있음을 보인다.

제안 방법

• 변환기(transformer) 기반의 seq2seq 모델(BART 등)로 사전 학습된 언어 모델링 목표로 미세조정하여 엔티티 이름을 생성하도록 한다.
• 엔티티를 텍스트 이름으로 표현하고 입력 x에 대해 엔티티 이름의 토큰들에 대한 자기회귀적 곱 pθ(y|x)로 엔티티 e를 점수화한다.
• 음의 샘플링 없이 표준 seq2seq 목표(교사 강제 학습이 포함된 최대우도)로 학습한다.
• 추론 시, 유효한 엔티티 이름의 트라이(trie) 위에서 제약된 빔 탐색을 수행하여 후보 집합에 속한 엔티티만 출력한다.
• 생성된 출력이 유효한 엔티티 식별자인지 확인하고 정확한 소프트맥스 계산을 가능하게 하는 제약 디코딩을 적용한다.
• 동적 엔티비 이름 트라이를 갖는 동적 출력으로 엔티티 링크를 엔드투엔드로 확장하기 위해 자동회귀 디코딩을 확장한다.

실험 결과

연구 질문

• RQ1 자동회귀 모델이 입력 맥락에 조건화된 엔티티 이름을 생성하여 ED, EL 및 문서 검색을 효과적으로 수행할 수 있는가?
• RQ2 트라이를 통한 후보 집합으로의 디코딩 제약이 정확성을 유지하면서 대규모에서의 효율적 디코딩을 가능하게 하는가?
• RQ3 GENRE가 ED, EL, DR 작업에서 기존의 바이-인코더/분류기 기반 검색기와 비교하여 정확도와 메모리 사용량 측면에서 어떻게 다른가?
• RQ4 retraining 없이 후보 집합에 이름을 추가하는 것만으로 새로운 엔티티를 통합할 수 있는가?
• RQ5 사전 학습 데이터(BLINK 등)나 도메인 데이터 세트로의 미세조정이 ED/EL/DR 성능에 어떤 영향을 미치는가?

주요 결과

• GENRE는 ED, EL, 및 페이지 수준 DR의 세 가지 작업 가족에서 20개가 넘는 데이터셋에서 SOTA 또는 경쟁력 있는 결과를 달성한다.
• 저밀도 엔티티 벡터 대신 엔티티 이름을 인덱싱함으로써 메모리 필요량을 대폭 줄이고(평균 약 20x 감소) 성능을 유지한다.
• 제약 빔 탐색을 트라이 위에서 수행하여 출력이 유효한 엔티티 이름이 되도록 하고 음수 샘플링 없이도 정확한 소프트맥스 계산을 가능하게 한다.
• 구조적이고 합성 가능한 엔티티 이름 공간을 사용하면 정확한 이름의 부분적 중복이 있을 때나 완전히 중복이 없을 때도 일반화 성능이 향상된다.
• 새로운 엔티티는 후보 집합에 모호하지 않은 이름을 간단히 추가함으로써 retraining 없이도 도입될 수 있다.
• DR 작업(KILT 벤치마크)에서는 GENRE가 강력한 베이스라인 대비 평균 최대 13.7 R-정확도 포인트의 향상을 달성하며, Natural Questions를 제외하고는 데이터셋 전반에서 최상 또는 거의 최상이다.
• ED에서 GENRE는 도메인 내 데이터에서 미세한 이득을 보이나 도메인 간 설정에서 더 큰 이득을 보이며 강력한 교차 도메인 강건성을 보여준다.
• EL에서 GENRE는 AIDA에서 도메인 내 최상이며 여러 도메인 외 데이터셋(Derczynski, KORE50 등)에서 상당한 개선을 보여준다.
• 제약 디코딩과 후보 집합 사용이 무제약 또는 후보가 없는 변형에 비해 성능을 크게 향상시킨다는 아벨레이션 결과가 있다.