[論文レビュー] Learning To Retrieve: How to Train a Dense Retrieval Model Effectively and Efficiently

Jingtao Zhan, Jiaxin Mao+3 more|arXiv (Cornell University)|Oct 20, 2020

Topic Modeling参考文献 42被引用数 14

ひとこと要約

この論文では、負例サンプリングに頼らず、トレーニング中に全コーパスの検索を実行することで、有効性と効率性を向上させる、新しいドキュメントエンコーダーのトレーニング手法LTReを提案する。LTReは、先行研究の最先端手法と比較して170倍以上高速なトレーニングを達成し、スパarsとドライブラインを大きく上回り、レイテンシ制約下でもBM25-BERTカスケードシステムをも凌駕する。

ABSTRACT

Ranking has always been one of the top concerns in information retrieval research. For decades, lexical matching signal has dominated the ad-hoc retrieval process, but it also has inherent defects, such as the vocabulary mismatch problem. Recently, Dense Retrieval (DR) technique has been proposed to alleviate these limitations by capturing the deep semantic relationship between queries and documents. The training of most existing Dense Retrieval models relies on sampling negative instances from the corpus to optimize a pairwise loss function. Through investigation, we find that this kind of training strategy is biased and fails to optimize full retrieval performance effectively and efficiently. To solve this problem, we propose a Learning To Retrieve (LTRe) training technique. LTRe constructs the document index beforehand. At each training iteration, it performs full retrieval without negative sampling and then updates the query representation model parameters. Through this process, it teaches the DR model how to retrieve relevant documents from the entire corpus instead of how to rerank a potentially biased sample of documents. Experiments in both passage retrieval and document retrieval tasks show that: 1) in terms of effectiveness, LTRe significantly outperforms all competitive sparse and dense baselines. It even gains better performance than the BM25-BERT cascade system under reasonable latency constraints. 2) in terms of training efficiency, compared with the previous state-of-the-art DR method, LTRe provides more than 170x speed-up in the training process. Training with a compressed index further saves computing resources with minor performance loss.

研究の動機と目的

• ドキュメントエンコーダーのトレーニング（サンプリングされた負例の再順序付け）と推論（全コーパスからの検索）の間の乖離を是正すること。
• モデルに全コーパスからの関連ドキュメントを検索させる能力を学習させることで、偏ったサンプルの再順序付けにとどまらず、ドキュメント検索の有効性を向上させること。
• 大規模コーパス向けのトレーニング効率を向上させ、トレーニング時間とGPUリソース消費量を削減すること。
• 圧縮インデックスの使用を検討し、性能の著しい低下を伴わずにメモリフットプリントをさらに削減すること。
• トレーニングと推論の両フェーズで検索範囲を一致させることで、一貫性を確立すること。

提案手法

• LTReは、固定された事前学習済みドキュメントエンコーダーを用いて全ドキュメントを事前にエンコードし、ベクトルインデックスに格納する。
• 各トレーニングステップで、クエリエンコーダーがバッチ処理されたクエリ表現を生成し、それらをインデックス化された全コーパスに対して全検索を実行する。
• 全検索の結果に基づいてモデルパラメータを更新し、モデルが全コーパスから関連ドキュメントを検索できるように直接最適化する。
• 負例サンプリングを回避するため、全検索を主な最適化信号として扱い、トレーニングと推論の整合性を保証する。
• LTReは、GPUメモリ使用量を削減できる圧縮インデックス（例：量子化を施したFAISS）をサポートしており、限られたハードウェアでも大規模コーパスでのトレーニングが可能になる。
• トレーニングプロセスはスケーラブルに設計されており、全検索処理の時間計算量はコーパスサイズに対して準線形である。

実験結果

リサーチクエスチョン

• RQ1 全コーパス検索を用いたトレーニングは、サンプリングされた負例を用いたトレーニングと比較して、より優れた一般化性能を達成するか？
• RQ2 既存のスパarsおよびドライブラインと比較して、トレーニング中に全検索を実行することで、検索有効性が著しく向上するか？
• RQ3 LTReのトレーニング効率は、ANCEなどの最先端手法と比較して、大規模コーパスにおいても顕著に優れているか？
• RQ4 LTReトレーニングにおいて、圧縮インデックスをどれくらいまで使用しても性能の低下が生じないか？
• RQ5 トレーニングと推論の両方で検索範囲を一致させることは、モデル性能にとって重要であるか？

主な発見

• TREC 2019パassage検索タスクにおいて、LTReは先行研究の最先端手法ANCEと比較して、トレーニング時間を170倍以上高速化した。
• TREC 2019ドキュメント検索タスクにおいて、LTReはBM25-BERTカスケードシステムを含む、すべての競合スパarsおよびドライブラインを、妥当なレイテンシ制約下で上回った。
• n=96の圧縮インデックスを用いることで、GPUメモリ使用量は非圧縮バージョンの3%にまで削減され、性能はほぼ同等（TREC 2019でのMRR@10は0.656 vs. 0.654）を維持した。
• 極度に圧縮されたインデックス（n=12）を用いることで、メモリフットプリントは0.6%にまで低下し、ANCEを除くすべてのベースラインを上回った。これは、強力なリソース効率性を示している。
• 過剰な圧縮（n=6）は、ランダムな負例サンプリングと同程度の性能低下を引き起こし、インデックス品質の重要性を裏付けた。
• 最良の性能は、トレーニングと推論の両方で同じインデックスを使用した場合に達成され、検索範囲の一貫性がモデル性能に与える重要性を確認した。