[논문 리뷰] RocketQA: An Optimized Training Approach to Dense Passage Retrieval for Open-Domain Question Answering

Yingqi Qu, Yuchen Ding외 7명|arXiv (Cornell University)|2020. 10. 16.

Topic Modeling참고 문헌 34인용 수 73

한 줄 요약

RocketQA는 cross-batch negatives, denoised hard negatives, data augmentation의 세 가지 학습 전략을 도입하여 오픈 도메인 QA를 위한 dense passage retrieval을 개선하고, MSMARCO 및 Natural Questions에서 강력한 성능 향상을 얻으며 엔드-투-엔드 QA 성능을 향상시킨다.

ABSTRACT

In open-domain question answering, dense passage retrieval has become a new paradigm to retrieve relevant passages for finding answers. Typically, the dual-encoder architecture is adopted to learn dense representations of questions and passages for semantic matching. However, it is difficult to effectively train a dual-encoder due to the challenges including the discrepancy between training and inference, the existence of unlabeled positives and limited training data. To address these challenges, we propose an optimized training approach, called RocketQA, to improving dense passage retrieval. We make three major technical contributions in RocketQA, namely cross-batch negatives, denoised hard negatives and data augmentation. The experiment results show that RocketQA significantly outperforms previous state-of-the-art models on both MSMARCO and Natural Questions. We also conduct extensive experiments to examine the effectiveness of the three strategies in RocketQA. Besides, we demonstrate that the performance of end-to-end QA can be improved based on our RocketQA retriever.

연구 동기 및 목표

• 오픈 도메인 QA를 위한 dense dual-encoder retrievers의 학습에서 발생하는 훈련/추론 격차, 라벨이 없는 포지티브 샘플, 한정된 데이터 등을 포함한 문제를 해결한다.
• 검색 품질과 효율성을 개선하기 위한 실용적 최적화 파이프라인을 제안한다.
• 학습된 retriever가 엔드-투-엔드 QA 성능을 향상시킨다는 것을 입증한다.
• 제안된 각 전략이 전체 이익에 기여하는 바를 분석한다.

제안 방법

• 의미 매칭을 위한 질문과 패시지 임베딩을 학습하기 위해 dual-encoder 아키텍처를 사용한다.
• 훈련 중 여러 GPU에 걸쳐 음수 샘드를 확장하기 위해 cross-batch negatives를 도입한다.
• 가능성이 있는 잘못된 부정 샘을 걸러내기 위해 cross-encoder를 활용하여 denoised hard negatives를 적용한다.
• cross-encoder를 사용하여 라벨이 없는 데이터를 라벨링하고 그 신호를 dual-encoder로 증류하는 데이터 증강을 사용한다.
• 사전 학습 및 의사 라벨 데이터 도입을 포함하는 다단계 RocketQA 절차로 dual-encoder를 학습한다.

실험 결과

연구 질문

• RQ1 cross-batch negatives가 오픈 도메인 QA를 위한 dual-encoder 검색의 훈련/추론 격차를 줄일 수 있는가?
• RQ2 cross-encoder를 통해 얻은 denoised hard negatives가 단순 top-k 음수보다 더 신뢰할 수 있는 hard negatives를 제공하는가?
• RQ3 cross-encoder 기반 데이터 증강이 제한된 라벨 데이터에서 dual-encoder 성능을 향상시키는가?
• RQ4 리더와 함께 사용할 때 RocketQA가 엔드-투-엔드 QA 정확도를 어느 정도 향상시키는가?

주요 결과

• RocketQA는 dense passage retrieval에서 MSMARCO 및 Natural Questions에 대해 이전의 최첨단 모델들을 크게 능가한다.
• Cross-batch negatives는 GPU 간 훈련 중 유효 음수를 증가시켜 상당한 이점을 제공한다.
• denoised hard negatives는 denoising 없이 샘플링한 hard negatives와 비교하여 검색 성능을 현저히 향상시킨다.
• cross-encoder를 사용하여 라벨이 없는 데이터를 라벨링하는 데이터 증강은 추가적인 개선을 가져오며, retriever에 대한 teacher-student 증류의 이점을 시사한다.
• 추출형 리더와 함께 RocketQA retriever를 사용할 때 엔드-투-엔드 QA 성능이 향상된다.