[論文レビュー] RocketQA: An Optimized Training Approach to Dense Passage Retrieval for Open-Domain Question Answering

Yingqi Qu, Yuchen Ding+7 more|arXiv (Cornell University)|Oct 16, 2020

Topic Modeling参考文献 34被引用数 73

ひとこと要約

RocketQAは3つの訓練戦略—cross-batch negatives、denoised hard negatives、data augmentation—を導入し、オープンドメインQAの高密度パッセージ検索を改善し、MSMARCOとNatural Questionsで顕著な向上を達成し、エンドツーエンドのQA性能を向上させる。

ABSTRACT

In open-domain question answering, dense passage retrieval has become a new paradigm to retrieve relevant passages for finding answers. Typically, the dual-encoder architecture is adopted to learn dense representations of questions and passages for semantic matching. However, it is difficult to effectively train a dual-encoder due to the challenges including the discrepancy between training and inference, the existence of unlabeled positives and limited training data. To address these challenges, we propose an optimized training approach, called RocketQA, to improving dense passage retrieval. We make three major technical contributions in RocketQA, namely cross-batch negatives, denoised hard negatives and data augmentation. The experiment results show that RocketQA significantly outperforms previous state-of-the-art models on both MSMARCO and Natural Questions. We also conduct extensive experiments to examine the effectiveness of the three strategies in RocketQA. Besides, we demonstrate that the performance of end-to-end QA can be improved based on our RocketQA retriever.

研究の動機と目的

• オープンドメインQAのための高密度デュアルエンコーダ retrieverの訓練に伴う課題（訓練と推論のギャップ、ラベルなしの positives、データの制限）に対処する。
• 検索品質と効率を改善する実用的な最適化パイプラインを提案する。
• 学習済みリトリーバがエンドツーエンドQA性能を向上させることを実証する。
• 提案戦略それぞれの全体的な利得への寄与を分析する。

提案手法

• セマンティックマッチングのためにQuestionとPassageの埋め込みを学習するデュアルエンコーダアーキテクチャを使用する。
• 訓練中に複数GPU間でネガティブの集合を拡張するためにcross-batch negativesを導入する。
• cross-encoderを用いて誤検出の可能性が高いネガティブをフィルタリングし、denoised hard negativesを適用する。
• cross-encoderを用いてラベル付けされていないデータをラベル付けし、その信号をデュアルエンコーダに蒸留してデータ拡張を行う。
• 事前訓練と疑似ラベルデータの取り込みを含む、RocketQA手順によるマルチステップのデュアルエンコーダ訓練。

実験結果

リサーチクエスチョン

• RQ1 cross-batch negativesはオープンドメインQAのデュアルエンコーダretrievalにおける訓練/推論ギャップを縮小できるか？
• RQ2 denoised hard negatives（cross-encoder経由）は、naive top-k negativesよりも信頼できるハードネガティブを提供するか？
• RQ3 cross-encoderベースのデータ拡張は、ラベル付きデータが限られている場合にデュアルエンコーダの性能を改善するか？
• RQ4 RocketQAをリーダーと組み合わせた場合、エンドツーエンドQAの正確性をどの程度改善するか？

主な発見

• RocketQAはdense passage retrievalにおいてMSMARCOとNatural Questionsの従来の最先端モデルを顕著に上回る。
• Cross-batch negativesは訓練中にGPU間で有効なネガティブを増やすことで大きな gains を提供する。
• Denoised hard negativesはdenoisingなしでサンプルしたハードネガティブと比較して検索性能を大幅に改善する。
• Cross-encoderを用いたラベル付けデータ拡張は追加の改善をもたらし、リトリーバの教師-生徒蒸留の利点を示す。
• エンドツーエンドQA性能はRocketQAリトリーバと抽出型リーダーを用いると改善される。