[論文レビュー] From Distillation to Hard Negative Sampling: Making Sparse Neural IR Models More Effective

Thibault Formal, Carlos Lassance+2 more|arXiv (Cornell University)|May 10, 2022

Topic Modeling被引用数 15

ひとこと要約

この論文は、SPLADEに知識蒸留、ハードネガティブマイニング、および改善された事前学習言語モデル初期化を適用することで、スパースニューラルIRモデルを向上させ、MS MARCO（ドメイン内）およびBEIR（ゼロショット）ベンチマークの両方で最先端の性能を達成した。提案されたSPLADE++フレームワークは、密度的なモデルから得られる訓練改善がスパースモデルへも適用可能であることを示しており、技術の組み合わせによる加法的向上と、表現力のあるアーキテクチャによる強力な一般化性能を実現している。

ABSTRACT

Neural retrievers based on dense representations combined with Approximate Nearest Neighbors search have recently received a lot of attention, owing their success to distillation and/or better sampling of examples for training -- while still relying on the same backbone architecture. In the meantime, sparse representation learning fueled by traditional inverted indexing techniques has seen a growing interest, inheriting from desirable IR priors such as explicit lexical matching. While some architectural variants have been proposed, a lesser effort has been put in the training of such models. In this work, we build on SPLADE -- a sparse expansion-based retriever -- and show to which extent it is able to benefit from the same training improvements as dense models, by studying the effect of distillation, hard-negative mining as well as the Pre-trained Language Model initialization. We furthermore study the link between effectiveness and efficiency, on in-domain and zero-shot settings, leading to state-of-the-art results in both scenarios for sufficiently expressive models.

研究の動機と目的

• 密度的なニューラルIRモデルにおける訓練改善（例：知識蒸留やハードネガティブマイニング）が、スパースニューラルリtrieverの性能向上に寄与するかどうかを調査すること。
• 事前学習言語モデル初期化の選択が、スパースモデルの効果性および一般化性能に与える影響を評価すること。
• スパースリtrieバルにおけるモデル効果性と推論効率（FLOPS）のトレードオフを分析すること。
• 複数の訓練技術を組み合わせることで、スパースニューラルIRにおける加法的性能向上が得られるかどうかを特定すること。
• BEIRベンチマークを用いてゼロショット設定における強化されたスパースモデルの一般化能力を評価すること。

提案手法

• 教師モデルを用いた知識蒸留をSPLADEモデルに適応し、ログィットマッチング（DistilMSE）またはソフトラベル蒸留（SelfDistil）に基づく蒸留損失を採用する。
• 事前モデルの検索結果からサンプリングされたネガティブ例を用いたハードネガティブマイニングを導入し、アンサンブルベースおよび自己蒸留戦略を併用する。
• BERT-baseやCoCondenserなど、複数の事前学習言語モデルチェックポイントを用いて、初期化の選択が性能と一般化に与える影響を評価する。
• トレーニング中にスパース正則化を適用し、高次元のスパース性を維持するとともに、語彙の再重み付けと拡張を可能にする。
• 最良の性能を示した設定（例：CoCondenser-EnsembleDistil）を組み合わせて最終的なSPLADE++モデルを構築し、技術の加法的向上を活用する。
• ドメイン内（MS MARCO）およびゼロショット（BEIR）設定の両方で、標準的なIR指標（MRR@10、nDCG@10、R@1k）を用いてモデルを評価する。

実験結果

リサーチクエスチョン

• RQ1 知識蒸留は、SPLADEのようなスパースニューラルIRモデルの性能を顕著に向上させることができるか？
• RQ2 ハードネガティブマイニングは、スパースニューラルリtrieバの一般化性能および効果性を向上させるか？
• RQ3 事前学習言語モデル初期化の選択が、スパースモデルの性能およびゼロショット一般化に与える影響は何か？
• RQ4 知識蒸留とハードネガティブマイニングが、スパースニューラルIRにおいてどの程度加法的向上をもたらすか？
• RQ5 スパースリtrieバルにおいて、モデル効果性と推論効率（FLOPS）の間にはトレードオフがあるか？ また、モデル容量に応じてその傾向はどのように変化するか？

主な発見

• SPLADE++のCoCondenser-EnsembleDistilバージョンは、BEIRベンチマークでMRR@10が50.7を達成し、ゼロショット評価における新たな最先端性能を樹立した。
• CoCondenser-SelfDistilバージョンはBEIRで平均nDCG@10が50.5を達成し、すべての先行スパースモデルを上回り、強力な一般化性能を示した。
• 知識蒸留とアンサンブルベースのハードネガティブマイニングを組み合わせることで、MS MARCOにおける単純な学習に比べてMRR@10が1.6ポイント向上した。
• 最良のモデル（CoCondenser-EnsembleDistil）は、BM25と早期要素ごとの和算を組み合わせることで、BEIRで平均nDCG@10が52.1に達し、語彙的アプローチとニューラルアプローチの相乗効果を示した。
• FLOPSがより高い（能力がより高い）モデルは、より強い一般化性能を示し、特にゼロショットタスクにおいて、より表現力のある設定が単純なモデルを上回った。
• 自己蒸留戦略（SelfDistil）は、マイニングにのみ密度的リtrieバを用いるため、MS MARCOへの過学習がやや低減され、アンサンブル蒸留（EnsembleDistil）よりも優れたゼロショット一般化性能を示した可能性がある。