[論文レビュー] Fine-Grained Distillation for Long Document Retrieval

Yucheng Zhou, Tao Shen+5 more|arXiv (Cornell University)|Dec 20, 2022

Image Retrieval and Classification Techniques被引用数 4

ひとこと要約

本稿では、長文ドキュメント検索のための新しい知識蒸留フレームワークであるFine-Grained Distillation (FGD) を提案する。FGDは、クロスエンコーダーから得られる複数の粒度の表現と一致させるようにバイエンコーダーを訓練することにより、粒度の不一致を軽減する。トレーニング中に文やパラグラフレベルでの局所的協調的な蒸留と、グローバルに一貫した粒度埋め込みを用いることで、推論効率に影響を与えずにMS-MarcoおよびTREC 2019ベンチマークで最先端の性能を達成する。

ABSTRACT

Long document retrieval aims to fetch query-relevant documents from a large-scale collection, where knowledge distillation has become de facto to improve a retriever by mimicking a heterogeneous yet powerful cross-encoder. However, in contrast to passages or sentences, retrieval on long documents suffers from the scope hypothesis that a long document may cover multiple topics. This maximizes their structure heterogeneity and poses a granular-mismatch issue, leading to an inferior distillation efficacy. In this work, we propose a new learning framework, fine-grained distillation (FGD), for long-document retrievers. While preserving the conventional dense retrieval paradigm, it first produces global-consistent representations crossing different fine granularity and then applies multi-granular aligned distillation merely during training. In experiments, we evaluate our framework on two long-document retrieval benchmarks, which show state-of-the-art performance.

研究の動機と目的

• スコープ仮説と粒度の不一致によるバイエンコーダーとクロスエンコーダーの性能差を解消する。
• トピック間の構造的・意味的非均一性のため、従来の蒸留手法が長文ドキュメントで失敗するという制限を克服する。
• 推論効率を損なわずに、異種のクロスエンコーダーからバイエンコーダーへの有効な知識移行を可能にするトレーニング時フレームワークを開発する。
• 細粒度単位（例：文、パラグラフ）間で一貫した表現を保ちつつ、グローバルなドキュメントレベルの意味を維持する。
• 統一された蒸留戦略により、さまざまなバイエンコーダーおよびクロスエンコーダーのアーキテクチャに一般化可能であるようにする。

提案手法

• 長文ドキュメント内での複数の粒度（文、パラグラフ）における表現の動的文脈化を可能にする、グローバルに一貫した粒度埋め込みを導入する。
• トレーニング中にクロスエンコーダーからバイエンコーダーへ、複数の粒度で関連スコア分布を転送する、局所的協調スコア蒸留を提案する。
• トップレベル（ドキュメント）から細粒度レベル（文、パラグラフ）まで、ハードネガティブ例を段階的にサンプリングする階層的ネガティブマイニング戦略を設計する。
• 多粒度蒸留をトレーニング時のみに適用し、推論時に単一ベクトルの推論を維持することで、効率性を保つ。
• 推論時に固定された単一ベクトルのドキュメント埋め込みを用いるバイエンコーダーを採用し、トレーニング時に多粒度の監視信号を活用することで一般化性能を向上させる。
• 対照学習と蒸留を組み合わせることで、バイエンコーダーのロバスト性を高め、過学習を低減する。

実験結果

リサーチクエスチョン

• RQ1 多トピック性を有する長文ドキュメントに対しても、クロスエンコーダーからバイエンコーダーへの知識蒸留が有効に適用可能か。
• RQ2 文書レベルの蒸留と比較して、多粒度蒸留はバイエンコーダーの長文ドキュメント検索性能を向上させるか。
• RQ3 グローバルに一貫した粒度埋め込みは、細粒度表現とグローバル表現の間の整合性を向上させるか。
• RQ4 階層的ネガティブマイニングは、長文ドキュメント検索における蒸留の質にどのように影響するか。
• RQ5 提案されたFGDフレームワークは、さまざまなバイエンコーダーおよびクロスエンコーダーのアーキテクチャと互換性があるか。

主な発見

• FGDは、MS-MarcoおよびTREC 2019の長文ドキュメント検索ベンチマークで、既存の蒸留ベース手法を上回る最先端の性能を達成する。
• 本手法は、パイロット実験におけるブルートフォース蒸留で観察された最小限の向上（<0.1%）とは対照的に、長文ドキュメントにおいて顕著な性能向上（1%以上の向上）を達成する。
• 多粒度蒸留をトレーニング時のみに適用することで、標準的なバイエンコーダー推論パイプラインを維持し、推論効率を保つ。
• グローバルに一貫した粒度埋め込みは、異なる粒度間の衝突を効果的に低減し、細粒度表現とグローバル表現の整合性を向上させる。
• 階層的ネガティブマイニングは、複数の粒度にわたるより情報量の多いハードネガティブ例を提供することで、蒸留の質を向上させ、モデルの一般化性能を向上させる。
• 本フレームワークは、さまざまなバイエンコーダーおよびクロスエンコーダーのアーキテクチャと互換性があり、異なるモデル選択に対しても強い一般化性能を示す。