[論文レビュー] Neural Passage Retrieval with Improved Negative Contrast

Jing Lü, Gustavo Hernández Ábrego+3 more|arXiv (Cornell University)|Oct 23, 2020

Topic Modeling参考文献 29被引用数 21

ひとこと要約

本稿では、意味的類似度、語彙的重複、ヒューリスティクスに基づく、双方向エンコーダー・モデルの学習を改善するためのネガティブサンプリング戦略を提案する。これらのハードネガティブ例を事前学習および微調整の両段階に適用することで、関連する文書と関連しない文書の間の対比が著しく向上し、オープンドメインQAベンチマークで最先端の性能を達成した。精度の向上は0.8～2.9ポイントであった。

ABSTRACT

In this paper we explore the effects of negative sampling in dual encoder models used to retrieve passages for automatic question answering. We explore four negative sampling strategies that complement the straightforward random sampling of negatives, typically used to train dual encoder models. Out of the four strategies, three are based on retrieval and one on heuristics. Our retrieval-based strategies are based on the semantic similarity and the lexical overlap between questions and passages. We train the dual encoder models in two stages: pre-training with synthetic data and fine tuning with domain-specific data. We apply negative sampling to both stages. The approach is evaluated in two passage retrieval tasks. Even though it is not evident that there is one single sampling strategy that works best in all the tasks, it is clear that our strategies contribute to improving the contrast between the response and all the other passages. Furthermore, mixing the negatives from different strategies achieve performance on par with the best performing strategy in all tasks. Our results establish a new state-of-the-art level of performance on two of the open-domain question answering datasets that we evaluated.

研究の動機と目的

• ハードネガティブサンプリングが二重エンコーダー・モデルの文書検索性能に与える影響を体系的かつ評価すること。
• 検索ベースおよびヒューリスティクスベースのハードネガティブ例が、関連する文書と関連しない文書の対比を向上させるかどうかを検討すること。
• 合成データおよびゴールドラベル付きデータを用いて、ハードネガティブ例を事前学習および微調整段階に統合する有効性を調査すること。
• 異なるネガティブサンプリング戦略で学習したモデルをアンサンブル化することで、優れた性能が得られるかどうかを検証すること。
• 合成事前学習とハードネガティブサンプリングを組み合わせることで、オープンドメイン質問応答の分野で新たな最先端性能を確立すること。

提案手法

• 2段階の訓練フレームワークを用いる：まず、質問生成モデルによって生成された合成された質問-文書ペairを用いた事前学習、その後、ゴールドラベル付きデータを用いた微調整。
• 4つの異なるハードネガティブサンプリング戦略を適用する：粗い/細かい意味的類似度、BM25に基づく語彙的重複、ヒューリスティクスに基づく文脈ネガティブ例。
• ハードネガティブ例を事前学習および微調整段階に統合することで、ポジティブとネガティブな文書の対比を強化する。
• BERTベースの二重エンコーダーを用いて、質問と文書を共有の密なベクトル空間に独立して埋め込む。
• ハードネガティブ例を用いた対照的学習を実装し、モデルが関連する文書を近づけ、関連しない文書を遠ざけるように最適化する。
• 異なるネガティブサンプリング戦略で学習したモデルをアンサンブル化することで、相補的な強みを活かし、最先端の性能を達成する。

実験結果

リサーチクエスチョン

• RQ1 異なるハードネガティブサンプリング戦略は、文書検索における二重エンコーダー・モデルの性能にどのように影響を与えるか？
• RQ2 事前学習段階にハードネガティブ例を組み込むことで、ランダムネガティブ例と比較してモデルの一般化性能が向上するか？
• RQ3 どのような質問タイプやドメイン（例：NQ 対 SQuAD）においても、最も優れた性能を発揮するネガティブサンプリング戦略は何か？
• RQ4 複数のネガティブサンプリング戦略で学習したモデルをアンサンブル化することで、個々の戦略を上回る性能が得られるか？
• RQ5 ハードネガティブ例を用いた合成事前学習は、検索タスクにおいて高価なゴールドラベル付きデータへの依存度をどの程度低減できるか？

主な発見

• 粗い/細かい意味的類似度、BM25に基づく、ヒューリスティクスベースの文脈ネガティブ例という4つのハードネガティブサンプリング戦略すべてが、事前学習および微調整段階においてランダムネガティブ例と比較して、顕著な性能向上を示した。
• 事前学習および微調整の両段階にハードネガティブ例を適用した結果、一貫した性能向上が得られ、特に両段階でハードネガティブ例を適用した場合に最も優れた結果が得られた。
• Natural Questions (NQ) データセットでは、文脈ベースのハードネガティブ例が最も優れた性能を発揮したが、SQuADでは意味的類似度ベースのネガティブ例（粗い・細かい両方）が他の戦略を上回った。
• 異なるネガティブサンプリング戦略で学習したモデルをアンサンブル化することで、全評価タスクで最先端の性能を達成した。先行研究と比較して、精度が0.8～2.9ポイント向上した。
• 事前学習段階からハードネガティブ例を除外した場合、性能に顕著な低下が見られた。これは、合成事前学習段階でもハードネガティブ例の価値が確認されたことを示している。
• BERTのチェックポイントから直接微調整を開始した場合（事前学習なし）、性能に顕著な低下が生じた。これは、ハードネガティブ例を用いた合成事前学習の有効性を裏付けている。