[論文レビュー] Reproducing and Comparing Distillation Techniques for Cross-Encoders

Victor Morand, Mathias Vast+4 more|arXiv (Cornell University)|Mar 3, 2026

Advanced Neural Network Applications被引用数 0

ひとこと要約

この論文は cross-encoder 再ランク用の二つの蒸留戦略を再現し、統制された設定の下で九つのエンコーダー骨格をベンチマークし、相対的比較目的が点wise 損失よりもしばしば優れていること、強力な目的が小型バックボーンを補えることを示している。

ABSTRACT

Recent advances in Information Retrieval have established transformer-based cross-encoders as a keystone in IR. Recent studies have focused on knowledge distillation and showed that, with the right strategy, traditional cross-encoders could reach the level of effectiveness of LLM re-rankers. Yet, comparisons with previous training strategies, including distillation from strong cross-encoder teachers, remain unclear. In addition, few studies cover a similar range of backbone encoders, while substantial improvements have been made in this area since BERT. This lack of comprehensive studies in controlled environments makes it difficult to identify robust design choices. In this work, we reproduce \citet{schlattRankDistiLLMClosingEffectiveness2025} LLM-based distillation strategy and compare it to \citet{hofstatterImprovingEfficientNeural2020} approach based on an ensemble of cross-encoder teachers, as well as other supervised objectives, to fine-tune a large range of cross-encoders, from the original BERT and its follow-ups RoBERTa, ELECTRA and DeBERTa-v3, to the more recent ModernBERT. We evaluate all models on both in-domain (TREC-DL and MS~MARCO dev) and out-of-domain datasets (BEIR, LoTTE, and Robust04). Our results show that objectives emphasizing relative comparisons -- pairwise MarginMSE and listwise InfoNCE -- consistently outperform pointwise baselines across all backbones and evaluation settings, and that objective choice can yield gains comparable to scaling the backbone architecture.

研究の動機と目的

• IR における cross-encoder 訓練戦略の堅牢で統制された比較を動機付ける。
• 統一された評価プロトコルの下で訓練目的の効果をエンコーダ骨格の効果から分離する。
• cross-encoder 内で主要な蒸留戦略（MarginMSE および Rank-DistiLLM）を再現し、監督付き損失と比較する。
• ドメイン内外のデータセットでの性能を評価して一般化を検証する。
• 将来の cross-encoder 蒸留研究を支援する再現可能な設定とベンチマークを提供する。

提案手法

• Hofstätter ら (2020) の MarginMSE 蒸留を cross-encoder 教師のアンサンブルを用いて再現し、cross-encoders を指導する。
• Schlatt ら (2025) の Rank-DistiLLM ベース蒸留（DistillRankNET および ADR-MSE）をランキングリストの監督付きで再現する。
• BERT、RoBERTa、ELECTRA、DeBERTaV3、ModernBERT 系を含む九つのエンコーダー骨格に評価を拡張する。
• 蒸留目的を supervised 損失（BCE: 点wise、hinge: ペアワイズ、InfoNCE: リストワイズ）と比較する。
• SPLADE-v3-DistilBERT によって取得されたトップ1000 を標準化した候補生成と、ID および OOD 基準での評価を標準化する。
• 目的と backbone の効果を分離するために、同じデータ、同じ前処理、同じオプティマイザ、同じ評価を用いた統一的訓練プロトコルを採用する。

(a) ID evaluation

実験結果

リサーチクエスチョン

• RQ1 蒸留ベースの監督信号（MarginMSE、DistillRankNet、ADR-MSE） は cross-encoder 再ランク用の伝統的な supervised 損失と比較してどうか。
• RQ2 特にドメインシフト下で、訓練目的が ranking パフォーマンスに与えるエンコーダ骨格の選択との相互作用はどの程度か。
• RQ3 強力な蒸留目的は小型バックボーンを補い、大規模モデルに近い性能を達成できるか。
• RQ4 LLM ベースの蒸留アプローチは、多様なバックボーンと評価設定に普遍的に有益か、それともデータセット・バックボーン依存か。
• RQ5 統制された一貫した評価から、堅牢な cross-encoder 訓練の一貫した設計選択が明らかになるか。

主な発見

• 訓練目的の選択は、バックボーンと評価設定を問わず一貫して実質的な影響を及ぼす。
• InfoNCE と MarginMSE が一般的に上位にランクされ、BCE は試された目的の中で最も悪い性能を示す。
• バックボーンのスケーリングは利得を生むが、強力な目的は特にOOD評価下でサイズ増加に匹敵する効果を持つ。
• LLM 教師から派生したリストワイズ蒸留法（DistillRankNET、ADR-MSE）は競合的だが、すべてのバックボーンで universally優れているわけではない。
• 統制された環境では supervised 目的が cross-encoders を蒸留ベースのアプローチと競合させ、蒸留が常に優れているとの主張に異議を唱える。

(b) Evaluation on BEIR-13 (semi OOD in our setup)