[論文レビュー] Distilling Dense Representations for Ranking using Tightly-Coupled Teachers

Sheng-Chieh Lin, Jheng-Hong Yang+1 more|arXiv (Cornell University)|Oct 22, 2020

Machine Learning and Algorithms参考文献 24被引用数 56

ひとこと要約

この論文は ColBERT の MaxSim ベースのランキングを密接に結合したドット積 Bi-encoder に蒸留し、一回のパスでの ANN 検索と高密度-疎結合のハイブリッド検索を実現し、ストレージと遅延を削減します。

ABSTRACT

We present an approach to ranking with dense representations that applies knowledge distillation to improve the recently proposed late-interaction ColBERT model. Specifically, we distill the knowledge from ColBERT's expressive MaxSim operator for computing relevance scores into a simple dot product, thus enabling single-step ANN search. Our key insight is that during distillation, tight coupling between the teacher model and the student model enables more flexible distillation strategies and yields better learned representations. We empirically show that our approach improves query latency and greatly reduces the onerous storage requirements of ColBERT, while only making modest sacrifices in terms of effectiveness. By combining our dense representations with sparse representations derived from document expansion, we are able to approach the effectiveness of a standard cross-encoder reranker using BERT that is orders of magnitude slower.

研究の動機と目的

• 高コストなクロスエンコーダの代替として、密な表現を用いた効率的なアドホック検索を動機づける。
• ColBERT からドット積型の Bi-encoder への密結合型知識蒸留設定を提案する。
• 蒸留を通じて取得性能を維持しつつ、ストレージと遅延を低減する。
• 疎信号を密表現と統合してクロスエンコーダの性能に近づける。
• MS MARCO および TREC 2019 DL でエンドツーエンドの検索有効性と遅延を評価する。

提案手法

• 埋め込みの PoolAvg を用いた Bi-encoder による dense retrieval を定式化する。
• ColBERT MaxSim からドット積の student へ、密結合トレーニングループを介して知識を蒸留する。
• 教師と学生の分布間の KL 発散を用いたバッチベースのソフトラベル蒸留を用いる。
• 2 段階で訓練する：MaxSim で教師をファインチューニングし、次に教師を固定して PoolAvg 学生へ蒸留する。
• 密表現と疎信号をエンドツーエンドでハイブリッドスコアリング則（式 7）で結びつける。
• 遅延測定とともに MS MARCO dev および TREC 2019 DL を用いて評価する。

実験結果

リサーチクエスチョン

• RQ1 ColBERT からの密結合知識蒸留は、単一段の ANN 検索に十分な性能までドット積 Bi-encoder を改善できるか？
• RQ2 密表現と疎信号を組み合わせると、競争力のあるエンドツーエンドの検索性能と遅延を達成できるか？
• RQ3 蒸留は MS MARCO および TREC ベンチマークにおけるリランキングと検索設定にどう影響するか？
• RQ4 提案された dense–sparse ハイブリッド手法の実用的な遅延コストはどれくらいか？

主な発見

• Bi-encoder with Tight Coupled Distillation (TCT-ColBERT) outperforms the non-distilled PoolAvg baseline in MS MARCO and TREC2019 DL.
• Dense representations with distillation plus sparse signals surpass several single-stage dense methods and approach cross-encoder performance when using doc2query-T5.
• Hybrid dense–sparse retrieval yields state-of-the-art recall in both MS MARCO and TREC2019 DL tasks while being substantially faster than multi-stage methods.
• Ablation shows in-batch distillation improves retrieval performance, and triplet-plus-in-batch sampling offers gains over triplet-only distillation.
• End-to-end latency breakdown shows dense retrieval plus small score-combination overhead remains efficient (roughly 3 ms for query encoding and 100 ms for dot-product search on GPU).
• The proposed method is four times faster than ColBERT and roughly thirty times faster than cross-encoder reranking, with competitive effectiveness.