[論文レビュー] ConTextual Masked Auto-Encoder for Dense Passage Retrieval

Xing Wu, Guangyuan Ma+4 more|arXiv (Cornell University)|Aug 16, 2022

Topic Modeling被引用数 8

ひとこと要約

この論文は、スパン内自己教師付きマスキングと隣接スパン表現を用いた文脈教師付きマスキングの二重マスキング自己符号化目的を備えた非対称エンコーダ・デコーダアーキテクチャを用いる、密度的プアセージリtrievalのための新しい生成的事前学習手法CoT-MAEを提案する。この手法は、MS-MARCOで最先端の性能を達成し、coCondenser や BERT といった強力なベースラインを著しく上回るリtrieval効果性を示す。

ABSTRACT

Dense passage retrieval aims to retrieve the relevant passages of a query from a large corpus based on dense representations (i.e., vectors) of the query and the passages. Recent studies have explored improving pre-trained language models to boost dense retrieval performance. This paper proposes CoT-MAE (ConTextual Masked Auto-Encoder), a simple yet effective generative pre-training method for dense passage retrieval. CoT-MAE employs an asymmetric encoder-decoder architecture that learns to compress the sentence semantics into a dense vector through self-supervised and context-supervised masked auto-encoding. Precisely, self-supervised masked auto-encoding learns to model the semantics of the tokens inside a text span, and context-supervised masked auto-encoding learns to model the semantical correlation between the text spans. We conduct experiments on large-scale passage retrieval benchmarks and show considerable improvements over strong baselines, demonstrating the high efficiency of CoT-MAE. Our code is available at https://github.com/caskcsg/ir/tree/main/cotmae.

研究の動機と目的

• より効果的な事前学習手法を通じて、テキスト表現学習の向上により、密度的プアセージリtrievalを改善すること。
• 従来の手法が単一テキストの内部モデリングに限定しているという限界を解消し、スパン間の意味的相関を組み込むこと。
• 密度的リtrieバルに向けたスパンレベルの文脈に基づく生成的事前学習の有効性を検証すること。
• エンコーダ表現を文脈依存性によって強化する、柔軟で非対称なエンコーダ・デコーダアーキテクチャを設計すること。
• スパン内意味とスパン間文脈の共同モデリングがリtrieバル性能の向上に寄与することを示すこと。

提案手法

• CoT-MAEは、深く、深いエンコーダと浅いデコーダを持つ非対称なエンコーダ・デコーダトランスフォーマアーキテクチャを用いる。
• 各スパンに対して、同じスパン内の未マスクトークンのみを用いて、マスクされたトークンを再構築する自己教師付きマスキング自己符号化を独立して適用する。
• 文脈教師付きマスキング自己符号化を導入し、デコーダがマスクされたスパンを、その未マスクトークンと隣接スパンの符号化表現を用いて再構築する。
• 2つの目的は、デコーダが事前学習中でのみ使用されるマスク言語モデリング（MLM）損失を用いて共同最適化される。
• 文書からサンプリング戦略を用いて、学習に適した文脈的関連性を持つテキストペア（スパンペア）を構築する。
• エンコーダはBERTから初期化され、デコーダはBERTの層またはランダムに初期化され、初期化の影響に関するアブレーションスタディが実施される。

実験結果

リサーチクエスチョン

• RQ1 生成的事前学習を通じてスパン内意味とスパン間文脈を共同でモデリングすることで、密度的プアセージリtrieバルが向上するか？
• RQ2 自己教師付きマスキングのみと比較して、文脈教師付きマスキングはテキスト表現の向上にどのように寄与するか？
• RQ3 非対称アーキテクチャにおけるデコーダの最適な深さと初期化戦略は何か？
• RQ4 文脈依存性を持つ非対称エンコーダ・デコーダ設計は、対称的または標準的な自己符号化と比較して、より優れたエンコーダ表現を生み出すか？
• RQ5 この手法は、多様なクエリタイプやプアセージ関連性パターンにおいて、リtrieバル性能の向上に一般化可能か？

主な発見

• CoT-MAEは、MS-MARCOプアセージランクイングデータセットでMRR@10が38.2を達成し、coCondenser（38.2）およびBERT baseを著しく上回る。
• 2層のデコーダを用いることで最良の性能が得られ、あまりに浅いか、あまりに深いデコーダでは性能が低下することが示された。
• デコーダの重みをランダム初期化すると、600k学習ステップを過ぎても改善が続くが、他の初期化手法では早期に飽和する。
• モデルは明確な質的向上を示し、ベースラインモデルがトークンレベルの重複しか見ない中で、意味的に関連するプアセージを正しく検索する。
• 初期化やアーキテクチャの選択に関わらず、強力なベースラインを常に上回る頑健な性能を示した。
• アブレーションスタディにより、文脈教師付きマスキングが不可欠であることが確認され、自己教師付きマスキングのみの場合にはモデル性能が低下した。