[論文レビュー] Aggretriever: A Simple Approach to Aggregate Textual Representations for Robust Dense Passage Retrieval

Sheng-Chieh Lin, Minghan Li+1 more|arXiv (Cornell University)|Jul 31, 2022

Topic Modeling被引用数 4

ひとこと要約

Aggretrieverは、BERTのマスク言語モデル（MLM）ヘッドから得られる文脈付きトークン埋め込みを、$\mathbf{agg}^{*}$ と呼ばれるコン pact なベクトルに集約することで、密なパassage検索を簡素かつ効果的に向上させる手法を提案する。このベクトルは[CLS]ベクトルと連結され、追加の事前学習や高コストな微調整を必要とせず、ドメイン内およびゼロショットのベンチマークで性能向上を達成する。

ABSTRACT

Pre-trained language models have been successful in many knowledge-intensive NLP tasks. However, recent work has shown that models such as BERT are not ``structurally ready'' to aggregate textual information into a [CLS] vector for dense passage retrieval (DPR). This ``lack of readiness'' results from the gap between language model pre-training and DPR fine-tuning. Previous solutions call for computationally expensive techniques such as hard negative mining, cross-encoder distillation, and further pre-training to learn a robust DPR model. In this work, we instead propose to fully exploit knowledge in a pre-trained language model for DPR by aggregating the contextualized token embeddings into a dense vector, which we call agg*. By concatenating vectors from the [CLS] token and agg*, our Aggretriever model substantially improves the effectiveness of dense retrieval models on both in-domain and zero-shot evaluations without introducing substantial training overhead. Code is available at https://github.com/castorini/dhr

研究の動機と目的

• 事前学習段階で微細なテキスト情報を効果的に捉えられないBERTベースの密なリtrieverが、ドメイン外およびゼロショット設定で性能を発揮できないという限界を解消すること。
• BERTの[CLS]ベクトルが、事前学習段階で得られた文脈付き表現を的確に要約できない「構造的に準備されていない」問題を克服すること。
• 追加の事前学習や複雑な微調整を必要とせず、BERTに事前学習された知識を完全に活用できる計算コストが低い手法を開発すること。
• [CLS]による意味的信号とMLMプロジェクションによる語彙的信号を統合した1つの密なベクトル表現として、検索効果性を向上させること。

提案手法

• BERTの事前学習済みMLMヘッドを再利用し、各文脈付きトークン埋め込みを高次元のワードピece語彙空間にプロジェクションする。
• 投影されたベクトルに対して最大プーリングとプルーニングを適用し、コンパクトで高い影響を持つ語彙的表現を取得する。これを$\mathbf{agg}^{\star}$と表記する。
• $\mathbf{agg}^{\star}$ を[CLS]ベクトルと連結することで、最終的なパassage表現を構築し、意味的および語彙的情報を統合的にモデル化する。
• 標準的なバイエンコーダー学習と標準的なネガティブサンプリングを用いて、得られたAggretrieverモデルを微調整する。ハードネガティブマイニングや蒸留を避ける。
• 最終的な密なベクトル表現を用いて、効率的な近似最近傍探索を実現するため、既存のANNライブラリを活用する。
• ハイブリッドモデルが二重の表現を必要とするのとは異なり、単一の密なベクトル出力を維持することで、既存のリtrievalパイプラインとの互換性を確保する。

実験結果

リサーチクエスチョン

• RQ1 追加の事前学習を伴わずに、BERTの事前学習済みMLMヘッドを完全に活用することで、密なパassage検索を向上させることは可能か？
• RQ2 文脈付きトークン埋め込みをコンパクトなベクトル$\mathbf{agg}^{\star}$ に集約することで、[CLS]ベクトルに依存するのみの手法よりも検索性能が向上するか？
• RQ3 提案手法による集約は、計算コストの増加を伴わずにゼロショットおよびドメイン外検索の効果性を向上させられるか？
• RQ4 Aggretrieverアプローチは、既存のリtrievalシステムと互換性があり、ANNベースの検索においても効率的か？

主な発見

• Aggretrieverは、ドメイン内およびゼロショットの検索ベンチマークにおいて、[CLS]のみのモデルと比較して顕著な向上を示し、複数のデータセットで一貫した改善を達成する。
• ハードネガティブマイニングや蒸留を用いたモデルでさえも上回る強力なベースライン（例：BERT$_{\text{CLS}}$ や TAS-B）を凌駕する。
• $\mathbf{agg}^{\star}$ を[CLS]ベクトルに追加することで、ハードネガティブマイニングやクロスエンコーダー蒸留といった高コストな学習技術を必要とせずに、検索効果性が向上する。
• Aggretrieverはゼロショット設定でも優れた性能を維持し、標準的なDPRモデルと比較して分布シフトに対して高いロバスト性を示す。
• この手法はさらなる事前学習戦略と直交しており、coCondenserなどのモデルと組み合わせることでさらに性能が向上する。
• MLMベースの集約は、スパarsなリtrievalにおいても安定した語彙的信号を提供し、意味的および語彙的マッチングの両方に利点をもたらす。