[論文レビュー] LexMAE: Lexicon-Bottlenecked Pretraining for Large-Scale Retrieval

Tao Shen, Xiubo Geng+6 more|arXiv (Cornell University)|Aug 31, 2022

Multimodal Machine Learning Applications被引用数 14

ひとこと要約

LexMAEは、マスクされた言語モデル（MLM）と語彙重み付け検索の間のギャップを埋めるために、連続的Bag-of-Words（CBoW）バッテリーを介して重要性を意識した語彙表現を学ぶ、語彙バッテリー付きマスク自動エンコーダーを導入する新しい事前学習フレームワークを提案する。これは、連続的Bag-of-Wordsバッテリーを介して重要性を意識した語彙表現を学ぶ。BEIRベンチマークでは最先端のゼロショット転移性能を達成し、MS-Marcoでは45.8 QPSのCPU上で42.6% MRR@10を達成し、高い効率性と有効性を示している。

ABSTRACT

In large-scale retrieval, the lexicon-weighting paradigm, learning weighted sparse representations in vocabulary space, has shown promising results with high quality and low latency. Despite it deeply exploiting the lexicon-representing capability of pre-trained language models, a crucial gap remains between language modeling and lexicon-weighting retrieval -- the former preferring certain or low-entropy words whereas the latter favoring pivot or high-entropy words -- becoming the main barrier to lexicon-weighting performance for large-scale retrieval. To bridge this gap, we propose a brand-new pre-training framework, lexicon-bottlenecked masked autoencoder (LexMAE), to learn importance-aware lexicon representations. Essentially, we present a lexicon-bottlenecked module between a normal language modeling encoder and a weakened decoder, where a continuous bag-of-words bottleneck is constructed to learn a lexicon-importance distribution in an unsupervised fashion. The pre-trained LexMAE is readily transferred to the lexicon-weighting retrieval via fine-tuning. On the ad-hoc retrieval benchmark, MS-Marco, it achieves 42.6% MRR@10 with 45.8 QPS for the passage dataset and 44.4% MRR@100 with 134.8 QPS for the document dataset, by a CPU machine. And LexMAE shows state-of-the-art zero-shot transfer capability on BEIR benchmark with 12 datasets.

研究の動機と目的

• マスクされた言語モデル（MLM）と語彙重み付け検索の間の目的不一致を解消すること。MLMは低エントロピー語を好むが、検索では高エントロピーのピボット語が有益である。
• エンコーダーとデコーダーの間に連続的Bag-of-Words（CBoW）バッテリーを導入することで、教師なしで重要性を意識した語彙表現を学ぶこと。
• 高効率性と低遅延を実現しつつ、大規模検索タスクへの有効なゼロショットおよびファインチューニング転移を可能にすること。
• 事前学習と下流の検索目的の整合性を高めることで、関連性中心の意味的表現と語彙空間表現を一致させること。

提案手法

• 言語モデルエンコーダ、語彙バッテリー付きモジュール、弱化されたデコーダーから構成される、語彙バッテリー付きマスク自動エンコーダー（LexMAE）アーキテクチャを提案する。
• 語彙バッテリー付きモジュールは、エンコーダーの言語モデルログィットに対して最大プーリングと正規化を施し、語彙の重要性分布を導出し、それを連続的Bag-of-Words（CBoW）バッテリーの重みとして用いる。
• CBoWバッテリーに飽和関数に基づくL1ノルム（log(1 + ReLU)）を適用することで、訓練の安定化と一般化性能の向上を図る。
• 二重目的でモデルを事前学習する：エンコーダーではマスクされた言語モデル、デコーダーでは弱化された再構成目的を採用し、エンコーダーでは30%、デコーダーでは50%の排他的マスキング戦略を適用する。
• 事前学習済みモデルを、語彙空間におけるスパースで重み付けされた表現を用いて、語彙重み付け検索のためのエンドツーエンドのファインチューニングで使用する。
• アーキテクチャのアブレーションでは、単語埋め込みへの勾配フローの無効化、LMヘッドの共有または別個の追加、マスキング戦略および割合の変更を検討する。

実験結果

リサーチクエスチョン

• RQ1 重要性を意識した語彙表現を学ぶ事前学習フレームワークが、語彙重み付け検索の性能を向上させることができるか？
• RQ2 マスクされた言語モデルと関連性指向の語彙重み付けの間の目的不一致をどのように軽減できるか？
• RQ3 CBoWバッテリーを介した語彙重要性分布の教師なし学習が、ゼロショットおよびファインチューニング検索性能を向上させるか？
• RQ4 バッテリーの種類、マスキング戦略、パラメータ共有などのアーキテクチャ的選択が、LexMAEの検索効果性と効率性に最も顕著に影響を与えるか？

主な発見

• LexMAEは、CPU上で45.8 QPSの性能を発揮し、MS-Marcoのパassage検索ベンチマークで42.6% MRR@10を達成し、高い効率性と優れた性能を示している。
• MS-Marcoのドキュメントデータセットでは、44.4% MRR@100を達成し、134.8 QPSの高速な推論性能を示しており、強力なスケーラビリティと低遅延を実現している。
• BEIRベンチマークの12のデータセットすべてにおいて、ファインチューニングなしで新しい最先端のゼロショット転移性能を樹立した。
• 飽和関数に基づくL1ノルム（log(1 + ReLU)）を用いたCBoWバッテリーは、[CLS]の密集表現やノーバッテリーのベースラインよりも一般化性能に優れている。
• アブレーションスタディの結果、単語埋め込み行列への勾配フローの有効化は性能を低下させ、LMヘッドの共有や追加ヘッドの追加は僅かな影響しか与えないことが判明した。
• LexMAEは、マスキング戦略や割合を含むさまざまなアーキテクチャ的およびハイパーパrameterの選択に対して頑健であり、複数のファインチューニング段階で一貫した性能向上を示している。