[논문 리뷰] Reproducing and Comparing Distillation Techniques for Cross-Encoders

Victor Morand, Mathias Vast외 4명|arXiv (Cornell University)|2026. 03. 03.

Advanced Neural Network Applications인용 수 0

한 줄 요약

이 논문은 cross-encoder 재랭킹기용 두 가지 증류 전략을 재현하고 제어된 설정에서 아홉 가지 인코더 백본을 벤치마킹하며, 상대 비교 목적이 종종 포인트와이즈 손실보다 우수하고 강력한 목적이 더 작은 백본을 보상할 수 있음을 보여준다.

ABSTRACT

Recent advances in Information Retrieval have established transformer-based cross-encoders as a keystone in IR. Recent studies have focused on knowledge distillation and showed that, with the right strategy, traditional cross-encoders could reach the level of effectiveness of LLM re-rankers. Yet, comparisons with previous training strategies, including distillation from strong cross-encoder teachers, remain unclear. In addition, few studies cover a similar range of backbone encoders, while substantial improvements have been made in this area since BERT. This lack of comprehensive studies in controlled environments makes it difficult to identify robust design choices. In this work, we reproduce \citet{schlattRankDistiLLMClosingEffectiveness2025} LLM-based distillation strategy and compare it to \citet{hofstatterImprovingEfficientNeural2020} approach based on an ensemble of cross-encoder teachers, as well as other supervised objectives, to fine-tune a large range of cross-encoders, from the original BERT and its follow-ups RoBERTa, ELECTRA and DeBERTa-v3, to the more recent ModernBERT. We evaluate all models on both in-domain (TREC-DL and MS~MARCO dev) and out-of-domain datasets (BEIR, LoTTE, and Robust04). Our results show that objectives emphasizing relative comparisons -- pairwise MarginMSE and listwise InfoNCE -- consistently outperform pointwise baselines across all backbones and evaluation settings, and that objective choice can yield gains comparable to scaling the backbone architecture.

연구 동기 및 목표

• IR에서 교차 인코더 훈련 전략에 대한 견고하고 제어된 비교를 촉진한다.
• 통합 평가 프로토콜 하에서 학습 목표의 효과를 인코더 백본으로부터 분리한다.
• 교차 인코더 내에서 주요 증류 전략(MarginMSE 및 Rank-DistiLLM)을 재현하고 감독 손실과 비교한다.
• 일치 도메인 및 외부 도메인 데이터셋에서 성능을 평가하여 일반화를 평가한다.
• 향후 교차 인코더 증류 연구를 지원하기 위한 재현 가능한 구성 및 벤치마크를 제공한다

제안 방법

• Hofstätter 등(2020)의 MarginMSE 증류를 교차 인코더 교사들의 앙상블을 사용하여 교차 인코더를 안내하도록 재현한다.
• Schlatt 등(2025)의 Rank-DistiLLM 기반 증류(DistillRankNET 및 ADR-MSE)를 순위 리스트 감독으로 재현한다.
• BERT, RoBERTa, ELECTRA, DeBERTaV3, 및 ModernBERT 계열에 걸친 아홉 가지 인코더 백본으로 평가 범위를 확장한다.
• 증류 목표를 감독 손실(BCE(포인트와이즈), 힌지(페어와이즈), InfoNCE(리스트와이즈))와 비교한다.
• SPLADE-v3-DistilBERT로 검색된 상위 1000개 후보의 생성 표준화와 ID 및 OOD 벤치마크에 걸친 평가를 수행한다.
• 목적과 백본의 효과를 분리하기 위해 동일한 데이터, 전처리, 옵티마이저 및 평가를 포함하는 통일된 학습 프로토콜을 사용한다.

(a) ID evaluation

실험 결과

연구 질문

• RQ1 증류 기반 감독 신호(MarginMSE, DistillRankNet, ADR-MSE)가 교차 인코더 재랭크러를 위한 전통적 감독 손실과 어떻게 비교되는가?
• RQ2 도메인 시프트에서 특히 순위 성능에 영향을 미치도록 인코더 백본 선택이 학습 목표와 얼마나 상호 작용하는가?
• RQ3 강력한 증류 목표가 더 작은 백본을 보상하여 더 큰 모델에 근접한 성능을 달성할 수 있는가?
• RQ4 LLM 기반 증류 접근법이 다양한 백본과 평가 설정에서 보편적으로 이로운가, 아니면 데이터셋 및 백본 의존적인 이익인가?
• RQ5 제어되고 통일된 평가가 견고한 교차 인코더 학습을 위한 일관된 설계 선택을 보여 주는가?

주요 결과

• 학습 목표의 선택이 백본 및 평가 설정 전반에서 일관되고 상당한 영향을 미친다.
• InfoNCE와 MarginMSE가 일반적으로 최상위에 위치하고 BCE가 테스트된 목표들 중 가장 나쁘게 작동한다.
• 백본 규모 확대는 이점을 제공하지만, 강력한 목표는 특히 OOD 평가에서 크기 증가에 필적할 수 있다.
• LLM 교사에서 파생된 리스트와이즈 증류 방법(DistillRankNET, ADR-MSE)은 경쟁력이 있지만 모든 백본에서 보편적으로 우수하지는 않다.
• 제어된 환경은 감독형 목표가 교차 인코더를 증류 기반 접근법과 경쟁력 있게 만들 수 있음을 보여 주어 증류가 항상 우수하다는 주장에 도전한다.

(b) Evaluation on BEIR-13 (semi OOD in our setup)