[論文レビュー] RetroMAE: Pre-Training Retrieval-oriented Language Models Via Masked Auto-Encoder

Shitao Xiao, Zheng Liu+2 more|arXiv (Cornell University)|May 24, 2022

Topic Modeling被引用数 7

ひとこと要約

RetroMAEは、検索指向の言語モデルの事前学習のための新しいマスク化自己符号化フレームワークを提案する。非対称な構造を採用し、フルエンコーダーのBERTと1層のデコーダーを組み合わせ、デコーダーには50–70%の攻撃的なマスキング、エンコーダーには中程度のマスキング（15–30%）を適用する。この構成により、エンコーダーが深い意味的表現を学習するよう促され、最小限のデータと計算量でBEIRおよびMS MARCOベンチマークで最先端の性能を達成する。

ABSTRACT

Despite pre-training's progress in many important NLP tasks, it remains to explore effective pre-training strategies for dense retrieval. In this paper, we propose RetroMAE, a new retrieval oriented pre-training paradigm based on Masked Auto-Encoder (MAE). RetroMAE is highlighted by three critical designs. 1) A novel MAE workflow, where the input sentence is polluted for encoder and decoder with different masks. The sentence embedding is generated from the encoder's masked input; then, the original sentence is recovered based on the sentence embedding and the decoder's masked input via masked language modeling. 2) Asymmetric model structure, with a full-scale BERT like transformer as encoder, and a one-layer transformer as decoder. 3) Asymmetric masking ratios, with a moderate ratio for encoder: 15~30%, and an aggressive ratio for decoder: 50~70%. Our framework is simple to realize and empirically competitive: the pre-trained models dramatically improve the SOTA performances on a wide range of dense retrieval benchmarks, like BEIR and MS MARCO. The source code and pre-trained models are made publicly available at https://github.com/staoxiao/RetroMAE so as to inspire more interesting research.

研究の動機と目的

• 既存の事前学習手法が、密度的検索向けの強力な文レベル表現を開発する点で限界を示しているという問題に取り組む。
• 自己符号化に基づく検索事前学習におけるデータ効率性と表現品質の問題を克服する。
• 入力文から訓練信号を最大限に活用するフレームワークを設計するが、同時にエンコーダーの再構成難易度を高める。
• 検索指向の事前学習における非対称なモデル構造とマスキング比の有効性を調査する。

提案手法

• RetroMAEは、入力文をエンコーダーとデコーダーで別々にマスキングする、新しいマスク化自己符号化ワークフローを採用する。
• エンコーダーは中程度のマスキング（15–30%）を施された入力を用いて、フルスケールのBERTとしての文埋め込みを生成する。
• デコーダーは1層のトランスフォーマーであり、文埋め込みと攻撃的なマスキング（50–70%）を施された入力を用いて、元の文を再構成する。
• 2ストリームアテンションと位置固有のアテンションマスクを導入することで、強化されたデコーディングを実現し、すべてのトークンが独自の文脈を用いて再構成されるように保証する。
• 非対称なマスキング比を用いることで、デコーダーの再構成難易度を高めつつ、エンコーダーの入力品質を維持する。
• モデルは、信号活用度と表現品質の最大化を重視して、Wikipedia、BookCorpus、MS MARCOで事前学習される。

実験結果

リサーチクエスチョン

• RQ1 非対称なマスキング比を用いたマスク化自己符号化フレームワークは、密度的検索向けの文表現品質を向上させることができるか？
• RQ2 強化されたデコーディングを備えた1層のデコーダーを用いることで、データ効率性と検索性能にどのような影響を与えるか？
• RQ3 検索指向の事前学習設定において、エンコーダーとデコーダーの最適なマスキング比は何か？
• RQ4 非対称なモデルアーキテクチャ（フルエンコーダー、軽量デコーダー）は、対称設計よりも優れた性能を発揮するか？
• RQ5 強化されたデコーディングは、検索事前学習における訓練信号の多様性とモデルの汎化能力をどの程度向上させるか？

主な発見

• RetroMAEはBEIRベンチマークでゼロショット平均スコア45.2を達成し、既存手法を顕著に上回る。
• DPRにおける教師あり微調整において、RetroMAEは複数の密度的検索ベンチマークで最先端の性能を達成する。
• 2ストリームアテンションと位置固有のマスクを用いた強化デコーディングは、データ効率性を向上させ、顕著な性能向上をもたらす。
• 1層のデコーダーが、より深いデコーダーを上回る性能を発揮する。これは、大きなデコーダーでは強化デコーディングを無効にする必要があり、性能を損なうためである。
• エンコーダーのマスキング比を増加（最大30%）させ、デコーダーに攻撃的なマスキング（50–70%）を適用することで、検索品質が向上し、デコーダーのマスキング比が0.5のときに最適な性能が得られる。
• アブレーションスタディにより、非対称なマスキングと強化デコーディングが、訓練信号活用度とモデル効果の最大化に不可欠であることが確認された。