[論文レビュー] In Defense of Cross-Encoders for Zero-Shot Retrieval

Guilherme J. M. Rosa, Luiz Bonifacio+5 more|arXiv (Cornell University)|Dec 12, 2022

Domain Adaptation and Few-Shot Learning被引用数 6

ひとこと要約

この論文は、ゼロショットリtrievalにおいて、クロスエンコーダーがバイエンコーダーを上回ることを主張し、初期のクエリ-ドキュメント相互作用と高いパラメータ数を持つより大きなクロスエンコーダーが、ドメイン外のタスクにおいて顕著に優れた一般化性能を示すことを実証している。研究では、BEIRベンチマークにおいて、クロスエンコーダーが最先端のバイエンコーダーを平均4ポイント以上上回ることを示しており、クロスエンコーダーによる再ランク付けに続く段階的検索において、最初の段階としてのディンスリトリーブがBM25よりも優位性を持たないことを明らかにしている。

ABSTRACT

Bi-encoders and cross-encoders are widely used in many state-of-the-art retrieval pipelines. In this work we study the generalization ability of these two types of architectures on a wide range of parameter count on both in-domain and out-of-domain scenarios. We find that the number of parameters and early query-document interactions of cross-encoders play a significant role in the generalization ability of retrieval models. Our experiments show that increasing model size results in marginal gains on in-domain test sets, but much larger gains in new domains never seen during fine-tuning. Furthermore, we show that cross-encoders largely outperform bi-encoders of similar size in several tasks. In the BEIR benchmark, our largest cross-encoder surpasses a state-of-the-art bi-encoder by more than 4 average points. Finally, we show that using bi-encoders as first-stage retrievers provides no gains in comparison to a simpler retriever such as BM25 on out-of-domain tasks. The code is available at https://github.com/guilhermemr04/scaling-zero-shot-retrieval.git

研究の動機と目的

• 多様なモデルサイズとドメインにおけるクロスエンコーダーとバイエンコーダーのゼロショット一般化性能を評価すること。
• モデルサイズの増大が、ドメイン外のリtrieバルシナリオにおける一般化性能に与える影響を調査すること。
• クロスエンコーダーによる再ランク付けに続く段階的検索パイプラインにおいて、バイエンコーダーを最初の段階のリtrieバとして使用しても、BM25などの単純な手法に比べて優位性があるかどうかを評価すること。
• クロスエンコーダーの一般化性能に与える、初期のクエリ-ドキュメント相互作用と隠れ次元のスケーリングの役割を特定すること。

提案手法

• BEIRベンチマーク上で、60Mから5.8Bパラメータまでの広範なモデルサイズのクロスエンコーダーとバイエンコーダーをトレーニングおよび評価すること。
• モノT5ベースのクロスエンコーダーを再ランカーとして使用し、GTR や SGPT などのバイエンコーダーと22のリtrieバルタスクで比較すること。
• 微調整なしでドメイン外のデータセット（TREC-COVID、Natural Questions、FEVERなど）におけるゼロショット効果を評価すること。
• 最初の段階としてBM25とGTR-335Mを比較し、その後にmonoT5-220Mによる再ランク付けを実施することで、初期検索品質の影響を評価すること。
• パラメータ数の増加に伴い、隠れ次元のスケーリング（例：768から4096）がモデルの一般化性能に与える影響を分析すること。
• MS MARCOを除き、多様なドメインにおけるnDCG@10とMRR@10を用いて性能を測定すること。

実験結果

リサーチクエスチョン

• RQ1 モデルサイズは、多様なドメインにおけるクロスエンコーダーとバイエンコーダーのゼロショット一般化性能にどのように影響するか？
• RQ2 クロスエンコーダーにおける初期のクエリ-ドキュメント相互作用は、バイエンコーダーと比較して、ドメイン外性能を向上させる要因となるか？
• RQ3 クロスエンコーダーによる再ランク付けに続く段階的検索パイプラインにおいて、密度のあるリtrieバ（バイエンコーダー）が、スパース手法（BM25）を上回る性能を発揮できるか？
• RQ4 モデルサイズの増大は、ドメイン内ではわずかな向上をもたらすが、ドメイン外一般化性能においては顕著な向上をもたらすか？
• RQ5 モデルサイズに伴う隠れ次元のスケーリングは、クロスエンコーダーのゼロショット効果性をどの程度向上させるか？

主な発見

• モデルサイズの増大はドメイン内ではわずかな向上をもたらすが、ドメイン外一般化性能においては顕著な向上をもたらす。
• 最大のクロスエンコーダー（5.8Bパラメータ）は、BEIRベンチマークにおいて最先端のバイエンコーダーを平均4ポイント以上上回る。
• 初期のクエリ-ドキュメント相互作用と高い隠れ次元（例：4096）を持つクロスエンコーダーは、固定された768次元のものよりも顕著に優れたゼロショット性能を示す。
• クロスエンコーダーによる再ランク付けに続く段階的検索パイプラインにおいて、GTRなどのバイエンコーダーを最初の段階のリtrieバとして使用しても、BM25に比べて性能に優位性がない。
• 初期のリtrieバル手法にかかわらず、クロスエンコーダーの効果性は高いままであるため、段階的パイプラインにおいて再ランク付けの品質が決定的要因であることが示唆される。
• 法的、医学的、科学的テキストを含む、すべてのテストドメインにおいて、クロスエンコーダーは同サイズのバイエンコーダーを上回り、その優れた一般化能力を確認している。