[論文レビュー] Embedding-based Zero-shot Retrieval through Query Generation

Davis Liang, Peng Xu+5 more|arXiv (Cornell University)|Sep 22, 2020

Topic Modeling参考文献 41被引用数 24

ひとこと要約

本稿では、ラベルなしデータに依存せずに、埋め込みベースの2タワーニューラルモデルを訓練するためのゼロショットリtrieバル手法を提案する。MSMARCOで微調整されたBARTを用いてWikipediaのパassageから高品質な合成クエリを生成することで、SOTAのゼロショット性能を達成し、BM25を平均2.45ポイント上回り、一部のケースでは実データで微調整されたモデルをも上回る。

ABSTRACT

Passage retrieval addresses the problem of locating relevant passages, usually from a large corpus, given a query. In practice, lexical term-matching algorithms like BM25 are popular choices for retrieval owing to their efficiency. However, term-based matching algorithms often miss relevant passages that have no lexical overlap with the query and cannot be finetuned to downstream datasets. In this work, we consider the embedding-based two-tower architecture as our neural retrieval model. Since labeled data can be scarce and because neural retrieval models require vast amounts of data to train, we propose a novel method for generating synthetic training data for retrieval. Our system produces remarkable results, significantly outperforming BM25 on 5 out of 6 datasets tested, by an average of 2.45 points for Recall@1. In some cases, our model trained on synthetic data can even outperform the same model trained on real data

研究の動機と目的

• ニューラルパassageリtrieバルにおけるラベル付きトレーニングデータの不足、特にゼロショット設定での課題を解決すること。
• 語彙的マッチング手法（例：BM25）に敗れる非オーバーラップクエリに対しても、ゼロショットリtrieバル性能を向上させること。
• ターゲットデータセット用のドメイン固有の合成クエリを生成することで、有効な教師なしドメイン適応を可能にすること。
• 大規模事前学習から得られる合成データが、一部のケースで実データを上回ることを示すこと。
• ラベルなしコーパスのみを用いてもスケーラブルでデータ効率の良い、ニューラルリtrieバルモデルのトレーニング手法を確立すること。

提案手法

• MSMARCOの正例クエリ-パassageペアを用いて事前学習されたBARTモデルを微調整し、クエリ生成（QG）を実行する。
• 微調整済みQGモデルを用いて、すべての英語Wikipediaパassageに適用し、大規模な合成リtrieバルデータセット（WikiGQ）を生成する。
• 合成WikiGQデータを用いて、クエリとパassageのための別個のエンコーダーを持つ2タワーシアンセイスニューラルネットワークをトレーニングする。
• 事前学習済みモデルをベースとし、下流のデータセットの公式トレーニングセットのみを用いて微調整する。
• 同じQGモデルをターゲットドメインデータセット（例：InsuranceQA、BioASQ）に適用し、ドメイン固有の合成データを生成してさらなる微調整に用いる。
• 複数のゼロショットおよびドメイン内リtrieバルベンチマークで、Recall@1、Recall@10、Recall@100などの標準的なIR指標を用いて性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 Wikipediaのような大規模なラベルなしコーパスから合成クエリを生成することで、強力なゼロショットリtrieバル性能を実現する高品質なトレーニングデータを生成できるか？
• RQ2 Wikipediaからの合成データで事前学習することで、Wikipedia以外のドメインを含む多様な下流データセットにおけるゼロショット性能が向上するか？
• RQ3 ターゲットドメインのテキストから生成されたドメイン固有の合成クエリにより、教師なしドメイン適応を通じてリtrieバル性能がさらに向上するか？
• RQ4 合成データでのトレーニングは、実データでのトレーニングよりもサンプル効率が高く、ラベル付きデータの必要性を低減できるか？
• RQ5 完全に合成データでのみトレーニングされたモデルが、特定の状況下で人間がアノテートした実データで微調整されたモデルを上回る性能を示せるか？

主な発見

• 合成WikiGQデータで微調整したモデルは、6つのデータセットで平均してRecall@1が2.45ポイントBM25を上回った。
• Natural Questionsデータセットでは、合成データでトレーニングしたモデルがRecall@1で48.57%を達成し、事前学習なしで微調整したモデルの40.78%を上回った。
• InsuranceQA（Wikipedia以外のドメイン）では、WikiGQで事前学習したモデルが34.33%のRecall@1を達成したのに対し、事前学習なしでは30.82%であった。
• 合成データセットサイズの増加に伴い性能が単調に向上したが、400万パassageを超えると収束効果が顕著になった。
• BioASQ や InsuranceQA からのドメイン固有の合成クエリで微調整することで、それぞれのデータセットでの性能がさらに向上した。
• 一部のケースでは、合成データのみでトレーニングしたモデルが、人間がアノテートした実データで微調整した同じモデルを上回り、合成教師信号の質の高さを示した。