[論文レビュー] LED: Lexicon-Enlightened Dense Retriever for Large-Scale Retrieval

Kai Zhang, Chongyang Tao+5 more|arXiv (Cornell University)|Aug 29, 2022

Topic Modeling被引用数 6

ひとこと要約

本稿では、語彙に配慮したモデルから知識を蒸留する2つの新しい蒸留戦略、すなわち語彙拡張型対照的学習とペアワイズ順位一貫性正則化を用いて、密な表現を強化する語彙に配慮した密検索器であるLEDを提案する。この手法は、3つのベンチマークで、たとえ教師モデルでさえも常に上回る性能を発揮し、顕著なフレーズや固有語の表記をよりよく捉えることで、密検索器の性能を顕著に向上させる。

ABSTRACT

Retrieval models based on dense representations in semantic space have become an indispensable branch for first-stage retrieval. These retrievers benefit from surging advances in representation learning towards compressive global sequence-level embeddings. However, they are prone to overlook local salient phrases and entity mentions in texts, which usually play pivot roles in first-stage retrieval. To mitigate this weakness, we propose to make a dense retriever align a well-performing lexicon-aware representation model. The alignment is achieved by weakened knowledge distillations to enlighten the retriever via two aspects -- 1) a lexicon-augmented contrastive objective to challenge the dense encoder and 2) a pair-wise rank-consistent regularization to make dense model's behavior incline to the other. We evaluate our model on three public benchmarks, which shows that with a comparable lexicon-aware retriever as the teacher, our proposed dense one can bring consistent and significant improvements, and even outdo its teacher. In addition, we found our improvement on the dense retriever is complementary to the standard ranker distillation, which can further lift state-of-the-art performance.

研究の動機と目的

• 密検索器が要約的・圧縮された意味的表現を持つため、局所的な顕著なフレーズや固有語の表記を無視してしまうという限界を是正すること。
• 優れた語彙に配慮した表現モデルから、語彙的知識を転送することで、密検索の性能を向上させること。
• 密エンコーダーのシーケンスレベルの意味的能力を損なわずに、それを強化する知識蒸留フレームワークを構築すること。
• 既存の蒸留手法（例：クロスエンコーダー蒸留）と互換性を持たせ、さらなる性能向上を可能にすること。
• 有効な弱い監視信号としての語彙的信号を用いることで、密検索器が語彙に配慮した教師モデルを上回ることを実証すること。

提案手法

• 語彙に配慮したリトリーバーから得られるハードネガティブ例を用いて、密エンコーダーの表現学習を挑戦し、改善する語彙拡張型対照的学習目的を導入する。
• ペアワイズ順位一貫性正則化を提案し、弱い監視信号を用いて、密モデルの順位付け行動を語彙に配慮した教師モデルのものと一致させる。これにより、重要な語彙的パターンを保持する。
• 厳密な分布マッチングやフルファインチューニングを避ける弱化形の知識蒸留を採用し、密モデルの固有の性質を保ちながら語彙的認識を統合する。
• マスク言語モデルで事前学習された、語彙中心の表現モデル（事前学習済み）を教師として活用し、高品質な語彙的信号を提供する。
• 提案された蒸留戦略を、クロスエンコーダーからの標準的なランカー蒸留と組み合わせることで、さらなる性能向上を実現する。
• ハイブリッド目的関数を用いて、エンドツーエンドで密リトリーバーを訓練する：語彙拡張型ネガティブ例を用いた対照的損失と、順位一貫性正則化損失の組み合わせ。

Figure 1. The training framework of our LED retriever. The Lexical teacher is independently trained following a two-stage process. After warming up, LED is trained with negatives mined by self and two lexicon-aware retrievers for lexicon-augmented contrastive learning, during which the Lexical Model

実験結果

リサーチクエスチョン

• RQ1 語彙に配慮した能力を付与することで、密検索器の意味的表現力の強さを損なわずに、効果的に性能を向上させられるか？
• RQ2 語彙に配慮したモデルからの知識蒸留が、特に顕著なフレーズや固有語の表記を捉える能力向上に寄与するか？
• RQ3 提案された蒸留戦略が、強力な語彙に配慮したリトリーバーである教師モデルでさえも上回ることができるか？
• RQ4 提案された蒸留技術は、クロスエンコーダー蒸留などの既存の蒸留パイプラインとどれほど互換性を持つのか？
• RQ5 蒸留信号が、長尾や困難なクエリにおける検索精度をどの程度向上させるのか？

主な発見

• LEDは、MS MARCO、TREC-Antique、TREC-NFCorpusの3つのベンチマークで一貫して検索性能を向上させ、強力な汎化能力を示している。
• MS MARCOの開発セットでは、ゴールデンパラグラフの平均順位を14.7（denote）から13.8に低下させ、上位100件の検索性能に顕著な向上を示している。
• 3つのベンチマークすべてにおいて、LEDは教師モデル（LEX）をMRR（平均逆順位）およびnDCG（正規化済み累積利益割合）の観点で上回っている。
• 事例研究では、LEDは「インターネットの利点」や「ペンシルツール」のような顕著なフレーズを含むクエリに対して、正しく該当するパラグラフをトップ1に検索するのに対し、密ベースライン（DEN）は意味的不一致により失敗している。
• クロスエンコーダー蒸留（LED w/ RT）と組み合わせることで、さらに性能が向上し、MS MARCOで新たなSOTA（最先端）を達成した。
• アブレーションスタディにより、両方の蒸留コンponent（対照的学習と順位一貫性）が性能向上に顕著に寄与していることが確認され、特に対照的目的が語彙的キューを捉えるのに顕著に有効であることが示された。