[論文レビュー] Unsupervised Dense Information Retrieval with Contrastive Learning

Gautier Izacard, Mathilde Caron+5 more|arXiv (Cornell University)|Dec 16, 2021

Domain Adaptation and Few-Shot Learning被引用数 145

ひとこと要約

本論文は、MoCoスタイルのネガティブキューとランダムクロップを用いた対照学習により、教師なしの dense レトリーバー（Contriever）を訓練し、強力なゼロショット・Few-shot の検索能力と多言語転送能力を実現し、BEIR において BM25 と競合する性能を達成している。

ABSTRACT

Recently, information retrieval has seen the emergence of dense retrievers, using neural networks, as an alternative to classical sparse methods based on term-frequency. These models have obtained state-of-the-art results on datasets and tasks where large training sets are available. However, they do not transfer well to new applications with no training data, and are outperformed by unsupervised term-frequency methods such as BM25. In this work, we explore the limits of contrastive learning as a way to train unsupervised dense retrievers and show that it leads to strong performance in various retrieval settings. On the BEIR benchmark our unsupervised model outperforms BM25 on 11 out of 15 datasets for the Recall@100. When used as pre-training before fine-tuning, either on a few thousands in-domain examples or on the large MS~MARCO dataset, our contrastive model leads to improvements on the BEIR benchmark. Finally, we evaluate our approach for multi-lingual retrieval, where training data is even scarcer than for English, and show that our approach leads to strong unsupervised performance. Our model also exhibits strong cross-lingual transfer when fine-tuned on supervised English data only and evaluated on low resources language such as Swahili. We show that our unsupervised models can perform cross-lingual retrieval between different scripts, such as retrieving English documents from Arabic queries, which would not be possible with term matching methods.

研究の動機と目的

• ラベル付きデータなしで高性能を発揮する教師なしの dense レトリーバーの必要性を動機づける。
• 整列されていないテキストを用いてリトリーバル用の bi-encoders を訓練する対照学習フレームワークを提案する。
• クロップベースの正例ペア構築と大規模なネガティブプールが BEIR および QA データセットで競争力のある結果をもたらすことを示す。
• 多言語およびクロスリンガル検索能力と、ファインチューニング前の事前学習の利点を示す。

提案手法

• クエリと文書を個別にエンコードする共有エンコーダ f_theta を用いた bi-encoder アーキテクチャを使用する。
• 正例のクエリ文書ペアを一緒に引き寄せ、ネガティブを離すよう対照的な InfoNCE 損失を適用する。
• 独立したクロッピング（ランダムトークンスパン）およびオプションの拡張（削除、マスキング、置換）によって単一文書から正例ペアを構築する。
• モーメンタムエンコーダを用いたMoCoスタイルのネガティブサンプリングと、前バッチからのネガティブのキューを使用する。
• 事前学習用の大規模な教師なしコーパスを形成するため、Wikipedia および CCNet データで訓練する。
• 監視なしのゼロショットおよびFew-shot設定で評価し、MS MARCO でのファインチューニング前の事前学習としての役割を検討する。）

実験結果

リサーチクエスチョン

• RQ1 対照学習はラベル付きデータなしで効果的な教師なし dense retriever を訓練できるか？
• RQ2 正例ペア構築手法（クロップ vs ICT）は検索性能にどのような影響を与えるか？
• RQ3 BEIRスタイルのゼロショット検索と多言語/Mr. TyDiタスクに対する大規模な教師なし事前学習の利点は？
• RQ4 教師なし事前学習は少数ショット適応で supervised pre-training と比べてどうか？
• RQ5 データがターゲット言語で不足する場合の多言語前訓練と跨言語検索の影響は？

主な発見

• Contriever はゼロショット評価で BEIR の 15 データセット中 11 データセットにおいて BM25 と競合する Recall@100 を達成。
• 事前学習として対照学習は MS MARCO でファインチューニングした後、BEIR の nDCG@10 および Recall@100 を改善し、その設定で密な bi-encoder の中で最先端の Recall@100 を達成。
• Few-shot 設定では、教師なし事前学習が MS MARCO ファインチューニングを用いた BERT を上回り、強い Few-shot 適応を示す。
• 29 言語にわたる多言語事前学習（mContriever）は、効果的なクロスリンガル検索を可能にし、英語データでファインチューニングした場合に高い性能を発揮する。
• 非英語のクエリから英語文書を取得するなど、クロスリンガル検索が実証されており、クロススクリプト検索（例：アラビア語クエリから英語文書）も含む。
• 対照学習による事前学習と MS MARCO ファインチューニングを組み合わせると、MS MARCOベースの指標が向上し、言語を跨いでも BEIR の性能と競合する。