[論文レビュー] SimLM: Pre-training with Representation Bottleneck for Dense Passage Retrieval

Liang Wang, Nan Yang+6 more|arXiv (Cornell University)|Jul 6, 2022

Topic Modeling被引用数 6

ひとこと要約

SimLMは、置換言語モデルを用いた表現ボトルネックアーキテクチャを用いて、密なパラグラフ検索のためのシンプルでありながら効果的な事前学習手法を提案する。[CLS]トークンが再構成のための必須のパラグラフ意味を圧縮するように強制することで、MS-MARCOおよびNQの両ベンチマークで最先端の性能を達成し、ストレージコストが低いにもかかわらず、ColBERTv2のようなマルチベクトルモデルをも凌駕する。

ABSTRACT

In this paper, we propose SimLM (Similarity matching with Language Model pre-training), a simple yet effective pre-training method for dense passage retrieval. It employs a simple bottleneck architecture that learns to compress the passage information into a dense vector through self-supervised pre-training. We use a replaced language modeling objective, which is inspired by ELECTRA, to improve the sample efficiency and reduce the mismatch of the input distribution between pre-training and fine-tuning. SimLM only requires access to unlabeled corpus, and is more broadly applicable when there are no labeled data or queries. We conduct experiments on several large-scale passage retrieval datasets, and show substantial improvements over strong baselines under various settings. Remarkably, SimLM even outperforms multi-vector approaches such as ColBERTv2 which incurs significantly more storage cost. Our code and model check points are available at https://github.com/microsoft/unilm/tree/master/simlm .

研究の動機と目的

• RoBERTa や ELECTRA のようなモデルが検索タスクにうまく一般化しないことに対応するため、NLU事前学習ベンチマークと密な検索性能の間の不一致を解消すること。
• マスクされた言語モデルの代わりに置換言語モデルの目的関数を採用することで、事前学習と微調整の間の入力分布の不一致を軽減し、サンプル効率を向上させること。
• [CLS]表現ボトルネックを通じて意味的および語彙的情報を両方効果的に捉える、堅牢なバイエンコーダベースのリトリーバーを訓練すること。
• ラベル付きクエリや合成データを一切使用せず、単にラベルなしコーパスのみを用いて効果的な事前学習を可能にすること。
• ColBERTv2のような高コストなマルチベクトルモデルと同等またはそれ以上の検索性能を達成しながら、ストレージコストを削減すること。

提案手法

• SimLMは、[CLS]トークンに表現ボトルネックを設けたエンコーダ・デコーダアーキテクチャを採用しており、エンコーダーがパラグラフ情報を密なベクトルに圧縮する。
• ELECTRAにインspiredされた置換言語モデルの目的関数を採用：マスクされたトークンがジェネレータが生成したトークンに置き換えられ、デコーダーはボトルネック表現から元のトークンを予測する。
• デコーダーの容量が限られているため、正確な再構成を達成するにはボトルネックに依存する必要が生じ、これによりエンコーダーが豊富で圧縮された表現を学習するよう促される。
• 事前学習の目的関数は、マスクされたトークンに限定せず、すべての入力トークンに対して損失を計算することで、サンプル効率を向上させ、微調整時の分布シフトを軽減する。
• 対照学習や合成クエリを一切必要とせず、平文のテキストのみを用いて事前学習を行う。
• 最終的なモデルは、ネガティブサンプリングを用いた標準的なバイエンコーダー学習により、ラベル付き検索データ上で微調整される。

実験結果

リサーチクエスチョン

• RQ1 ラベルなしデータを必要とせず、置換言語モデルを用いた単純な表現ボトルネック事前学習が、密なパラグラフ検索性能を向上させられるか？
• RQ2 マスク言語モデルを置換言語モデルの目的関数に置き換えることで、入力分布の不一致が軽減され、サンプル効率が向上するか？
• RQ3 単一の[CLS]ベクトルボトルネックが、マルチベクトルアプローチを凌駕するためのすべての必須のパラグラフ意味を効果的に捉えられるか？
• RQ4 ターゲットコーパス上で事前学習する場合と、非ターゲットまたは一般コーパス上で事前学習する場合とを比較した場合、下流の検索性能にどのような差が出るか？
• RQ5 SimLMは、ColBERTv2のようなモデルよりも低いストレージコストで最先端の結果を達成できるか？

主な発見

• SimLMは、MS-MARCOコーパス上で事前学習した場合、MS-MARCO開発セットでMRR@10が38.0を達成し、BERT-baseの33.7に比べ顕著な向上を示した。
• Natural Questionsデータセットでは、マイニングされたハードネガティブ例を用いて、SimLMはR@1kが98.3を達成し、ベースラインのBERT-baseモデルを上回った。
• 標準的なマスク言語モデルに比べ、SimLMは収束が早く、わずか10kステップで競争力のある性能に到達したが、MLMは60kステップを過ぎてもゆっくりと改善を続けた。
• ターゲットコーパス上で事前学習すると最も大きな向上が得られたが、Wikipedia や MS-MARCO などの非ターゲットコーパスでも、BERT-baseベースラインを上回る性能を示した。
• SimLMはストレージコストを著しく削減しながらも、ColBERTv2を上回る検索性能を達成し、その効率性と有効性を示した。
• 定性的な分析では、SimLMはBERT-baseが失敗するような金融クエリ（例：口座番号のルーティング番号）においても、より良い意味的整合性を持つパラグラフを検索しており、キーワードの意図を的確に捉えていることが分かった。