[論文レビュー] Rethink Training of BERT Rerankers in Multi-Stage Retrieval Pipeline

Luyu Gao, Zhuyun Dai+1 more|arXiv (Cornell University)|Jan 21, 2021

Topic Modeling参考文献 16被引用数 8

ひとこと要約

本論文は、マルチステージ検索パイプラインにおけるBERT再ランカーのトレーニング手法として、局所化された対照的推定（LCE）を提案する。LCEは、ターゲット検索エンジンの上位結果からネガティブ例をサンプリングし、過学習を防ぐために対照的損失を用いることで、性能を向上させる。LCEは複数の検索エンジンにおいてMRR@100を顕著に向上させ、MSMARCOでは40.5のMRR@100を達成し、リーダーボードで最先端の結果を記録した。

ABSTRACT

Pre-trained deep language models~(LM) have advanced the state-of-the-art of text retrieval. Rerankers fine-tuned from deep LM estimates candidate relevance based on rich contextualized matching signals. Meanwhile, deep LMs can also be leveraged to improve search index, building retrievers with better recall. One would expect a straightforward combination of both in a pipeline to have additive performance gain. In this paper, we discover otherwise and that popular reranker cannot fully exploit the improved retrieval result. We, therefore, propose a Localized Contrastive Estimation (LCE) for training rerankers and demonstrate it significantly improves deep two-stage models.

研究の動機と目的

• より強力な最初の段階の検索エンジンが提供する改善された候補リストを、標準的なBERT再ランカーのトレーニングが完全に活用できない理由を調査すること。
• 高品質な検索エンジンから得られるハードネガティブ例における混同的特徴が、標準的なBERT再ランカーのトレーニングに与える影響を解決すること。
• 高性能な検索パイプラインにおける再ランカーのロバスト性と有効性を向上させるトレーニング手法を提案すること。
• 同じBERTアーキテクチャを用いる場合、より良いトレーニング手法が、より複雑なモデルアーキテクチャを上回ることを実証すること。

提案手法

• LCEは、ターゲット最初の段階の検索エンジン（例：HDCT や BM25）の上位-m件の結果から、ネガティブドキュメントを排他的にサンプリングし、実際の候補プールに一致するようにネガティブ分布を局所化する。
• 1つのポジティブと複数のネガティブドキュメント-クエリペアのグループ内で正規化されたスコアを計算する対照的損失関数を採用し、ポジティブの順位付けを高めるように促進する。
• 損失関数は $\mathcal{L}_q = -\log \frac{\exp(dist(q,d^{+}_{q}))}{\sum_{d \in G_q} \exp(dist(q,d))}$ で定義され、ここで $G_q$ はターゲット検索エンジンの上位結果から得られる1つのポジティブと複数のネガティブを含む。
• 本手法は、バニラアプローチと同一のBERTモデルを用いるが、二値交差エントロピーの代わりに、局所化されたネガティブ例を用いた対照的学習を実施する。
• トレーニングデータは、ターゲット検索エンジンの出力に基づき、クエリごとに再サンプリングされ、トレーニングと推論の条件が一致するように保証される。
• 本アプローチはモデルアンサンブルと互換性があり、標準的なファインチューニングを上回る追加の推論コストやトレーニングコストを発生させない。

実験結果

リサーチクエスチョン

• RQ1 単により強力な最初の段階の検索エンジンにBERT再ランカーを追加しても、期待される性能向上が得られないのはなぜか？
• RQ2 高品質な検索エンジンが提供するハードネガティブ例に含まれる混同的特徴が、標準的なBERT再ランカーのトレーニングに与える影響は何か？
• RQ3 ターゲット検索エンジンの出力に局所化されたネガティブ例を用いた対照的損失は、マルチステージ検索における再ランカーの一般化性能とロバスト性を向上させられるか？
• RQ4 ネガティブサンプリング戦略、特にターゲット検索エンジンの出力への局所化が、再ランカーの性能に与える影響は何か？
• RQ5 同じBERTモデルを用いる場合、より良いトレーニング手法が、モデルアーキテクチャの改善を上回ることができるか？

主な発見

• LCEは、テストされたすべての最初の段階の検索エンジンにおいてMRR@100を顕著に向上させ、MSMARCO開発セットでは2.6〜3.5ポイントの向上を達成した。
• MSMARCOのリーダーボードでは、HDCT + LCEアンサンブルモデルが40.5のMRR@100を達成し、1位に輝き、新たな最先端の記録を樹立した。
• LCEの性能向上は、最初の段階の検索エンジンの強度に比例して増大する傾向にあり、強力な検索エンジンから得られる複雑なハードネガティブ例をより効果的に処理できることを示している。
• ターゲット検索エンジンの上位結果にネガティブサンプリングを局所化することが不可欠である。弱いまたは関連のない検索エンジンからネガティブを抽出すると、性能が急激に低下する。
• LCEでトレーニングされた再ランカーは、分布シフトに対して優れたロバスト性を示し、テスト時の検索エンジンがトレーニング時のものと異なる場合でも、より良好に一般化する。
• 複数のネガティブを用いた対照的損失は、モデルの崩壊を防ぎ、混同的特徴が存在する状況でも識別性能を向上させる。