[논문 리뷰] Approximate Nearest Neighbor Negative Contrastive Learning for Dense Text Retrieval

Lee Xiong, Chenyan Xiong외 6명|arXiv (Cornell University)|2020. 07. 01.

Domain Adaptation and Few-Shot Learning참고 문헌 61인용 수 229

한 줄 요약

논문은 전체 코퍼스에서 하드 네거티브를 선택하기 위해 비동기적으로 업데이트되는 ANN 인덱스를 사용하는 dense 텍스트 검색용 글로벌 네거티브 샘플링 방법 ANCE를 제안하며, 학습 수렴과 검색 정확도를 개선한다. ANCE는 웹 검색, OpenQA, 생산 검색 전반에 걸쳐 최첨단 성능을 달성하고 상당한 효율성을 확보한다.

ABSTRACT

Conducting text retrieval in a dense learned representation space has many intriguing advantages over sparse retrieval. Yet the effectiveness of dense retrieval (DR) often requires combination with sparse retrieval. In this paper, we identify that the main bottleneck is in the training mechanisms, where the negative instances used in training are not representative of the irrelevant documents in testing. This paper presents Approximate nearest neighbor Negative Contrastive Estimation (ANCE), a training mechanism that constructs negatives from an Approximate Nearest Neighbor (ANN) index of the corpus, which is parallelly updated with the learning process to select more realistic negative training instances. This fundamentally resolves the discrepancy between the data distribution used in the training and testing of DR. In our experiments, ANCE boosts the BERT-Siamese DR model to outperform all competitive dense and sparse retrieval baselines. It nearly matches the accuracy of sparse-retrieval-and-BERT-reranking using dot-product in the ANCE-learned representation space and provides almost 100x speed-up.

연구 동기 및 목표

• dense text retrieval의 학습에서 배치 내 음수들로 인한 병목 현상을 식별한다.
• 전체 코퍼스에서 글로벌 음수를 사용하여 학습 수렴을 개선하는 음수 샘플링 전략을 제안한다.
• 음수 샘플링 하에서 그래디언트 노름과 수렴을 이론적으로 분석한다.
• 웹 검색, OpenQA, 생산 검색 설정 전반에서 ANCE를 경험적으로 검증한다.
• ANCE를 활용한 조밀 검색의 효율성 향상을 기존 방법 대비 입증한다.

제안 방법

• 저자들은 조밀한 검색 학습의 수렴을 분석하고, 로컬 배치 내 음수가 그래디언트 노름을 감소시키고 그래디언트 분산이 크다는 것을 보인다.
• 그들은 Approximate Nearest Neighbor Negative Contrastive Estimation (ANCE)을 도입하여 비동기적으로 업데이트되는 ANN 인덱스를 사용해 말뭉치로부터 전역적으로 하드 네거티브를 샘플링한다.
• ANCE는 Inferencer를 유지하여 주기적으로 말뭉치 체크포인트를 재인코딩하고 training에 최신의 네거티브를 제공하기 위해 ANN 인덱스를 새로 고친다.
• 훈련 인스턴스의 네거티브는 현재 모델에 따라 상위에서 검색된 문서들에서(양성 제외) 끌어와, 오라클 중요도 샘플링 분포를 근사한다.
• 비동기 인덱스 새로 고침 전략은 훈련 효율성과 최신의 네거티브 사용 사이의 균형을 맞추며, 일반적으로 고정된 배치 수마다 새로 고친다.
• 구현은 dot-product 유사도와 Negative Log Likelihood 손실을 사용하는 BERT-Siamese/Dual Encoder를 사용하고, BM25-워밍 초기화 및 긴 문서에 대한 표준 풀링으로 학습한다.

실험 결과

연구 질문

• RQ1 글로벌 음수 샘플링이 배치 내 음수보다 Dense Retrieval 학습을 향상시킬 수 있는가?
• RQ2 비동기적으로 업데이트되는 ANN 인덱스가 학습 효율성과 수렴에 어떤 영향을 미치는가?
• RQ3 웹 검색, OpenQA, 생산 검색 시스템에서 ANCE가 검색 정확도에 어떤 영향을 주는가?
• RQ4 ANCE 음수가 로컬 음수에 비해 그래디언트 노름과 학습 다이나믹에 어떤 영향을 미치는가?

주요 결과

• ANCE는 임의의 음수나 배치 내 음수를 사용하는 베이스라인보다 조밀한 검색 성능을 크게 향상시킨다.
• ANCE는 BERT 기반 큐레이션 IR 파이프라인의 정확도에 거의 근접한 점곱 유사도 기반 검색을 수행하면서도 훨씬 더 효율적이다.
• 웹 검색, OpenQA, 상용 검색 엔진에서 ANCE의 일관된 이점을 보였으며, 독서자 기반의 질의 응답 단계에 대한 전파가 우수했다.
• 이론적 및 실험적 분석은 ANCE 음수가 더 큰 그래디언트 노름을 생성하고 로컬 음수에 비해 그래디언트 분산을 감소시켜 수렴 속도를 높인다는 것을 보여준다.
• 비동기 인덱스 새로 고침 전략은 훈련을 효율적으로 유지하면서 최신의 음수를 유지하게 하며, 실용적인 GPU 자원 권고를 제시한다.
• ANCE를 통한 하드웨어 효율적 밀집 검색은 온라인 지연 측정에서 BERT 재랭킹보다 약 100배 더 빠른 처리 속도를 제공한다(일부 설정에서).