[論文レビュー] Text Embeddings by Weakly-Supervised Contrastive Pre-training

Liang Wang, Nan Yang+6 more|arXiv (Cornell University)|Dec 7, 2022

Topic Modeling被引用数 112

ひとこと要約

E5 は CCPairs の弱教師付き対照事前学習を通じて汎用テキスト埋め込みを学習し、ゼロショット検索で強力を発揮し、従来の大規模埋め込みモデルよりはるかに少ないパラメータで微調整済みの結果に優れる。

ABSTRACT

This paper presents E5, a family of state-of-the-art text embeddings that transfer well to a wide range of tasks. The model is trained in a contrastive manner with weak supervision signals from our curated large-scale text pair dataset (called CCPairs). E5 can be readily used as a general-purpose embedding model for any tasks requiring a single-vector representation of texts such as retrieval, clustering, and classification, achieving strong performance in both zero-shot and fine-tuned settings. We conduct extensive evaluations on 56 datasets from the BEIR and MTEB benchmarks. For zero-shot settings, E5 is the first model that outperforms the strong BM25 baseline on the BEIR retrieval benchmark without using any labeled data. When fine-tuned, E5 obtains the best results on the MTEB benchmark, beating existing embedding models with 40x more parameters.

研究の動機と目的

• リトリーブ、クラスタリング、分類のための高品質な単一ベクトルのテキスト埋め込みの需要を動機づける。
• 一般目的の埋め込みを学習するための弱教師付き対照事前学習フレームワークを提案する。
• 大規模で高品質なテキストペアデータ CCPairs をキュレーションし、ゼロショットと微調整性能を示す。
• 限定ラベルデータで多様なタスクとベンチマークへ埋め込みが良く転用できることを示す。

提案手法

• クエリとパッセージの固定サイズ埋め込みを生成する共有トランスフォーマーエンコーダを用いた二重编码器アーキテクチャを用いる。
• インバッチネガティブと大規模バッチサイズを用いた InfoNCE 対比損失で学習する。
• semi-structured web sources から CCPairs を作成し、一貫性ベースのフィルターを適用して約2.7億件の高品質テキストペアを保持する。
• 任意でラベル付きデータ（MS-MARCO、NQ、NLI）をハードネガティブとクロスエンコーダ教師からの知識蒸留の組み合わせで微調整する。
• BEIR（ゼロショット）と MTEB（56 英語タスク）で埋め込みを評価し、転移性と堅牢性を示す。

実験結果

リサーチクエスチョン

• RQ1 -curated web-scale text-pair データセットでの弱教師付き対照事前学習から高品質な一般目的テキスト埋め込みを学習できるか？
• RQ2 CCPairs ベースの学習はゼロショットおよび微調整リトリーブタスクにおいて、合成/ノイズデータやラベル付きデータ微調整と比較してどうか？
• RQ3 データ品質、バッチサイズ、ネガティブサンプリングが埋め込み品質とベンチマーク性能に与える影響は？
• RQ4 superviseed 微調整後、比較的小〜中程度の E5 モデルは、はるかに大きな埋め込みモデルとどの程度競合できるか？

主な発見

• E5 はゼロショット検索の BEIR で最先端または競争力の結果を達成し、ラベルデータ無しでいくつかのデータセットで BM25 を上回る。
• E5-base および E5-large は MTEB で競争力あるまたは優れた性能を達成し、最大で 40 倍多いパラメータの埋め込みモデルを上回る。
• テキスト分類のゼロショット SST-2 スタイルのプロンプトは、埋め込みのみで強力な性能を示し、広い適用性を示す。
• ラベル付きデータでの微調整（MS-MARCO、NQ、NLI）はリトリーブ、クラスタリング、STSタスクで実質的な利得を生み出し、異なるデータソースを組み合わせると利得が拡大。
• より大きなバッチサイズ（より多くのインバッチネガティブ）は複数のデータセットでリトリーブ性能を一貫して向上。
• CCPairs のデータフィルタリングは顕著な利得を提供；1M ペアでのフィルタリングデータは同程度の規模の未フィルタデータを超える。
• インバッチネガティブは MoCo や pre-batch ネガティブ戦略よりも本設定で優れており、大規模対照学習でのシンプルなインバッチネガティブの有効性を示す。
• BM25 と比較して、密埋め込み法である E5 は語彙的手法を補完し続ける。特に長尾や語彙マッチのシナリオでハイブリッドアプローチの余地を示す。