[論文レビュー] No Parameter Left Behind: How Distillation and Model Size Affect Zero-Shot Retrieval

Guilherme Moraes Rosa, Luiz Bonifacio+5 more|arXiv (Cornell University)|Jun 6, 2022

Topic Modeling被引用数 6

ひとこと要約

本稿では、モデルサイズと知識蒸留がゼロショットリtrieval性能に与える影響を調査し、非ドメイン特化の設定において、より大きな非蒸留再ランカーが蒸留モデルおよび密度型モデルを著しく上回ることを示している。主な発見は、パrameter数の増加が一般化性能を向上させることであり、30億パラメータのmonoT5-3B再ランカーは、18のBEIRデータセットのうち12で最先端性能を達成し、蒸留モデルおよびより大きな密度型リtrieverを上回った。

ABSTRACT

Recent work has shown that small distilled language models are strong competitors to models that are orders of magnitude larger and slower in a wide range of information retrieval tasks. This has made distilled and dense models, due to latency constraints, the go-to choice for deployment in real-world retrieval applications. In this work, we question this practice by showing that the number of parameters and early query-document interaction play a significant role in the generalization ability of retrieval models. Our experiments show that increasing model size results in marginal gains on in-domain test sets, but much larger gains in new domains never seen during fine-tuning. Furthermore, we show that rerankers largely outperform dense ones of similar size in several tasks. Our largest reranker reaches the state of the art in 12 of the 18 datasets of the Benchmark-IR (BEIR) and surpasses the previous state of the art by 3 average points. Finally, we confirm that in-domain effectiveness is not a good indicator of zero-shot effectiveness. Code is available at https://github.com/guilhermemr04/scaling-zero-shot-retrieval.git

研究の動機と目的

• ドメイン内効果性が神経的リtrievalモデルのゼロショット性能を信頼性を持って予測できるかどうかを評価すること。
• 多様なドメインにわたるゼロショット一般化において、モデルサイズと知識蒸留の役割を調査すること。
• 計算制約が異なる条件下で、再ランカーと密度型リtrievalモデルの有効性を比較すること。
• 展開先の未知ドメインにおいて、蒸留モデルが強力な性能を維持できるかどうかを特定すること。

提案手法

• MS MARCOデータセットで微調整された蒸留モデル（例：MiniLM）およびより大きな非蒸留再ランカー（例：monoT5-3B）を、ドメイン内評価のために使用した。
• 18の多様なドメイン（バイオメディカル、ファイナンシャル、Webなど）からなるBEIRベンチマークのデータセットで、すべてのモデルをゼロショットで評価した。
• 2段階のリtrievalパイプラインを用いた：BM25が1000件の候補を取得し、その後神経的モデルがそれらを再ランク付けした。
• nDCG@10を用いて有効性を比較し、A100 GPU上で1クエリあたりの推論遅延を測定して効率性を評価した。
• 再ランカーと密度型リtrieverの両方を、同一のバックボーンアーキテクチャ（例：T5）で訓練・評価することで、アーキテクチャとサイズの影響を隔離した。
• 再ランカーにおける早期のクエリ-ドキュメント相互作用と、密度型モデルにおける固定ベクトル類似度の影響を分析した。

実験結果

リサーチクエスチョン

• RQ1 MS MARCOにおけるドメイン内性能は、未知ドメインのデータセットにおけるゼロショット効果性を信頼性を持って予測できるか？
• RQ2 モデルサイズの増加が、蒸留モデルと比較して神経的再ランカーのゼロショット一般化に与える影響は何か？
• RQ3 より多くのパラメータを持つ再ランカーは、同程度のサイズの密度型リtrieverよりも、ゼロショット設定で一貫して優れた性能を示すか？
• RQ4 知識蒸留とモデルサイズの両方が、ゼロショットリtrieval性能に与える相対的影響は何か？
• RQ5 なぜ密度型リtrieverは再ランカーと比較して、新しいドメインに一般化しにくいのか？

主な発見

• 30億パラメータのmonoT5-3B再ランカーは、18のBEIRデータセットのうち12で最先端性能を達成し、前回のSOTAを平均3ポイント上回った。
• FiQAファイナンシャルデータセットでは、MiniLMが100倍も小さいにもかかわらず、nDCG@10でmonoT5-3Bが約16ポイント優れていた。
• MiniLMはMS MARCOでははるかに大きなモデル（monoT5-3B）と同等の性能を示したが、ゼロショットデータセットでは著しく劣化した。
• 最大の再ランカー（monoT5-3B）はBEIRでnDCG@10 0.5321を達成し、より大きな密度型リtriever（GTR：58億パラメータ）およびColBERTv2を上回った。
• 高いパラメータ数にもかかわらず、monoT5-3BはMiniLM（0.64秒/クエリ）とほぼ同等の遅延（14.63秒/クエリ）を達成しており、実用的に大きなモデルでも効率的であることが示された。
• 本研究では、密度型リtrieverが固定768次元ベクトルによる制限により、サイズが増加しても効果性に飽和するのに対し、再ランカーはサイズ増加に伴い継続的に改善されることを確認した。