[論文レビュー] Multi-Stage Document Ranking with BERT

Rodrigo Nogueira, Wei Yang+2 more|arXiv (Cornell University)|Oct 31, 2019

Topic Modeling参考文献 42被引用数 199

ひとこと要約

この論文は、三段階のマルチステージランキングアーキテクチャ内で monoBERT（ポイントワイズ）と duoBERT（ペアワイズ）を提案し、文書ランキングの効果と待機時間のバランスを取る。MS MARCO と TREC CAR で実証。

ABSTRACT

The advent of deep neural networks pre-trained via language modeling tasks has spurred a number of successful applications in natural language processing. This work explores one such popular model, BERT, in the context of document ranking. We propose two variants, called monoBERT and duoBERT, that formulate the ranking problem as pointwise and pairwise classification, respectively. These two models are arranged in a multi-stage ranking architecture to form an end-to-end search system. One major advantage of this design is the ability to trade off quality against latency by controlling the admission of candidates into each pipeline stage, and by doing so, we are able to find operating points that offer a good balance between these two competing metrics. On two large-scale datasets, MS MARCO and TREC CAR, experiments show that our model produces results that are either at or comparable to the state of the art. Ablation studies show the contributions of each component and characterize the latency/quality tradeoff space.

研究の動機と目的

• End-to-end の文書ランキングを、マルチステージパイプラインで BERT ベースのリランキングで実現・有効化する。
• monoBERT（ポイントワイズ）と duoBERT（ペアワイズ）を段階 H1 および H2 として導入する。
• 候補の受入と段階的処理が、 production- style のシステムにおける品質と待機時間をどのようにトレードオフするか示す。
• MS MARCO および TREC CAR で BM25 ベースラインに対する改善を示す。
• アブレーションを通じたコンポーネントの寄与を分析し、待機時間–品質のトレードオフを特徴づける。

提案手法

• H0（BM25 語彙ベースの検索）、H1（monoBERT バイナリ関連性分類器）、H2（duoBERT ペアワイズリランキング）からなる3段階ランキングアーキテクチャ。
• monoBERT はクエリと候補の CLS 埋め込みを用いて関連性確率 s_i を出力；上位 k1 件の候補を保持。
• duoBERT はクエリ、候補 i、候補 j を入力として BERT によりペアワイズ関連性 p_{i,j} を出力；Sum/Binary/Min/Max/Sample で p_{i,j} を集約して最終的な s_i を得る。
• 事前学習：初期の一般的な BERT の事前学習、次にターゲットコーパス事前学習（TCP）をタスクコーパス（MS MARCO または CAR の Wikipedia 部分集合）で実施。
• 学習：TPU v3、関連/非関連文書のバランスを取ったバッチ、monoBERT はクロスエントロピー損失、duoBERT はペアワイズ損失を使用；MS MARCO および CAR データセットで微調整。

実験結果

リサーチクエスチョン

• RQ1 monoBERT と duoBERT は、マルチステージパイプラインにおいて BM25 ベースラインよりランキングの効果を改善できるか。
• RQ2 monoBERT/duoBERT パイプラインでの k0（H0 入力候補）と k1（H1 出力）を変えたときの待機時間–品質のトレードオフはどうなるか。
• RQ3 ターゲットコーパス事前学習（TCP）は、ニューラルランキングでの BERT のドメイン外事前学習より性能を向上させるか。
• RQ4 異なる集約方法（Sum, Binary, Min, Max, Sample）が duoBERT の最終ランキングに与える影響はどうか。
• RQ5 MS MARCO と TREC CAR での monoBERT および duoBERT のパフォーマンスはどうか、データセット間で利得が異なる理由は何か。

主な発見

Method	Dev	Eval
BM25 (Microsoft Baseline)	16.7	16.5
IRNet	27.8	28.1
monoBERT (Jan 2019)	36.5	35.9
Anserini (BM25)	18.7	19.0
+ monoBERT	37.2	36.5
+ monoBERT + duoBERT Max	32.6	-
+ monoBERT + duoBERT Min	37.9	-
+ monoBERT + duoBERT Sum	38.2	37.0
+ monoBERT + duoBERT Binary	38.3	-
+ monoBERT + duoBERT Sum + TCP	39.0	37.9
Leaderboard best	39.7	38.3

• monoBERT は MS MARCO および CAR で BM25 ベースラインを大きく上回る。
• duoBERT を追加（Sum または Binary の集約）すると、monoBERT 単独より両データセットで追加の利得が得られる。
• Max 集約法は劣るため除外され、Sum と Binary がそれぞれ MS MARCO と CAR で最も強い利得を提供。
• ターゲットコーパス事前学習（TCP）は MS MARCO の MRR@10 を約 0.8 ポイント改善。
• 本アプローチは MS MARCO と CAR の両データセットで最新手法に近い、あるいはそれを上回る結果を達成しており、明確な待機時間–品質のトレードオフを示している。