[論文レビュー] Approximate Nearest Neighbor Negative Contrastive Learning for Dense Text Retrieval

Lee Xiong, Chenyan Xiong+6 more|arXiv (Cornell University)|Jul 1, 2020

Domain Adaptation and Few-Shot Learning参考文献 61被引用数 229

ひとこと要約

tldr: 本論文は ANCE を提案する。密集テキスト検索のためのグローバル否定サンプリング手法で、非同期に更新されるANNインデックスを用いて全コーパスから難易度の高いネガティブを選択し、学習収束と検索精度を向上させる。ANCE は ウェブ検索、OpenQA、商用検索の分野で最先端の結果を達成し、顕著な効率向上を実現する。

ABSTRACT

Conducting text retrieval in a dense learned representation space has many intriguing advantages over sparse retrieval. Yet the effectiveness of dense retrieval (DR) often requires combination with sparse retrieval. In this paper, we identify that the main bottleneck is in the training mechanisms, where the negative instances used in training are not representative of the irrelevant documents in testing. This paper presents Approximate nearest neighbor Negative Contrastive Estimation (ANCE), a training mechanism that constructs negatives from an Approximate Nearest Neighbor (ANN) index of the corpus, which is parallelly updated with the learning process to select more realistic negative training instances. This fundamentally resolves the discrepancy between the data distribution used in the training and testing of DR. In our experiments, ANCE boosts the BERT-Siamese DR model to outperform all competitive dense and sparse retrieval baselines. It nearly matches the accuracy of sparse-retrieval-and-BERT-reranking using dot-product in the ANCE-learned representation space and provides almost 100x speed-up.

研究の動機と目的

• バッチ内ネガティブを用いた学習における密集テキスト検索のボトルネックを特定する。
• コーパス全体からのグローバルネガティブを用いるネガティブサンプリング戦略を提案し、学習収束を改善する。
• 負のサンプリングの下での勾配ノルムと収束を理論的に分析する。
• ウェブ検索、OpenQA、商用検索設定において ANCE を経験的に検証する。
• 従来手法に対する ANCE を用いた密集検索の効率向上を示す。

提案手法

• 著者らは密集検索の訓練収束を分析し、局所的なバッチ内ネガティブが勾配ノルムを低下させ、勾配分散を高くすることを示す。
• 彼らは Approximate Nearest Neighbor Negative Contrastive Estimation (ANCE) を導入し、非同期に更新されるANNインデックスを用いてコーパス全体から難しいネガティブをグローバルにサンプリングする。
• ANCE は定期的にコーパスのチェックポイントを再エンコードし、学習のための最新ネガティブを提供するようANNインデックスを更新する Inferencer を保持する。
• 学習インスタンスのネガティブは、現在のモデルに従って上位に取得された文書（陽性を除く）から抽出され、oracle の重要サンプリング分布を近似する。
• 非同期インデックス更新戦略は、最新のネガティブを使用することと訓練効率のバランスを取り、通常は一定バッチ数ごとに更新する。
• 実装は dot-product 相似度を用いた BERT-Siamese/Dual Encoder を使用し、Negative Log Likelihood loss、BM25-warmed 初期化、および長文の標準プーリングで訓練する。

実験結果

リサーチクエスチョン

• RQ1 コーパス全体からのグローバルネガティブサンプリングは、バッチ内ネガティブよりも密集検索の学習を改善できるか？
• RQ2 ANNインデックスの非同期更新は訓練効率と収束にどう影響するか？
• RQ3 ウェブ検索、OpenQA、商用検索システムにおける検索精度に対する ANCE の影響は何か？
• RQ4 局所ネガティブと比較した場合、ANCE のネガティブは勾配ノルムと訓練ダイナミクスにどう影響するか？

主な発見

• ANCE はランダムまたはバッチ内ネガティブを用いるベースラインよりも密集検索性能を大幅に向上させる。
• ANCE はドット積類似度を用いて、BERT ベースのカスケードIRパイプラインの精度にほぼ匹敵しつつ、はるかに高い効率を実現する。
• ウェブ検索、OpenQA、商用検索エンジンでの実験は、ANCE から一貫した利益を示し、リーダー基盤の質問応答段階への伝播も有利である。
• 理論的および経験的分析は、ANCE のネガティブがより大きな勾配ノルムを生み、勾配分散を低減させ、局所ネガティブと比較して収束を加速することを示す。
• 非同期インデックス更新戦略は、最新のネガティブを維持しつつ訓練を効率的に保ち、実際的なGPUリソースの推奨も報告されている。
• ANCE によるハードウェア効率の高い密集検索は、オンライン待機遅延測定で一部の設定において BERT リランキングより約100倍高速な処理を提供する。