[論文レビュー] B-PROP: Bootstrapped Pre-training with Representative Words Prediction for Ad-hoc Retrieval

Xinyu Ma, Jiafeng Guo+4 more|arXiv (Cornell University)|Apr 20, 2021

Topic Modeling参考文献 34被引用数 16

ひとこと要約

B-PROPは、ad-hoc検索のためのブートストラップ型事前学習手法を提案する。この手法は、PROPにおけるunigram言語モデルを、BERTに基づく対照的語彙選択に置き換えることで、代表語のサンプリングを改善する。BERTの自己注意機構を活用し、語彙の情報量を「ランダムからの逸脱度」によって測定することで、代表語の選択をより適切に行う。B-PROPは、複数のad-hoc検索ベンチマークで最先端の性能を達成し、ゼロショット設定下でもPROPやBM25を上回る。

ABSTRACT

Pre-training and fine-tuning have achieved remarkable success in many downstream natural language processing (NLP) tasks. Recently, pre-training methods tailored for information retrieval (IR) have also been explored, and the latest success is the PROP method which has reached new SOTA on a variety of ad-hoc retrieval benchmarks. The basic idea of PROP is to construct the extit{representative words prediction} (ROP) task for pre-training inspired by the query likelihood model. Despite its exciting performance, the effectiveness of PROP might be bounded by the classical unigram language model adopted in the ROP task construction process. To tackle this problem, we propose a bootstrapped pre-training method (namely B-PROP) based on BERT for ad-hoc retrieval. The key idea is to use the powerful contextual language model BERT to replace the classical unigram language model for the ROP task construction, and re-train BERT itself towards the tailored objective for IR. Specifically, we introduce a novel contrastive method, inspired by the divergence-from-randomness idea, to leverage BERT's self-attention mechanism to sample representative words from the document. By further fine-tuning on downstream ad-hoc retrieval tasks, our method achieves significant improvements over baselines without pre-training or with other pre-training methods, and further pushes forward the SOTA on a variety of ad-hoc retrieval tasks.

研究の動機と目的

• PROPが代表語のサンプリングに古典的unigram言語モデルに依存しているため、不十分な意味的表現が生じるという制限を解消すること。
• unigramモデルの代わりに、より強力な文脈依存言語モデル（BERT）を用いることで、事前学習における代表語選択の質を向上させること。
• 文書中の語彙分布をランダム分布と比較することで、語彙の情報量を測定する対照的手法を提案し、サンプリングにおける意味的関連性を強化すること。
• BERTを、BERTベースのサンプリングを用いてカスタマイズされた事前学習目的（ROP）で再学習することで、下流のad-hoc検索タスクにおける性能を向上させること。
• 標準的なad-hoc検索ベンチマーク上で、ゼロショットおよびファインチューニング設定の両方でB-PROPの有効性を評価すること。

提案手法

• PROPにおける古典的unigram言語モデルをBERTに置き換え、代表語サンプリングのためのより意味的情報を含む語彙分布を生成すること。
• ランダムからの逸脱度の原則にインspiredされた対照的手法を導入し、語彙がどれほどランダム分布から逸脱しているかを測定することで、その代表語としての適切さを評価すること。
• BERTの自己注意機構を用いてトークン間の注意スコアを計算し、そのスコアを基に文書から情報量の多い語彙を特定・サンプリングすること。
• BERTベースのサンプリング語彙ペアを用いて代表語予測（ROP）タスクを構築し、モデルがどの語彙セットが文書をよりよく代表しているかを予測するように学習させること。
• 標準的な教師ありデータを用いて、下流のad-hoc検索タスクでファインチューニングすることで、向上した事前学習目的を活用すること。
• 事前学習段階でROP目的とマスク言語モデル（MLM）を併用し、文脈表現と語彙の代表語性の両方を同時に学習すること。

実験結果

リサーチクエスチョン

• RQ1 ROPタスク構築においてunigram言語モデルをBERTに置き換えることで、ad-hoc検索における代表語サンプリングの質が向上するか？
• RQ2 ランダムからの逸脱度に基づく対照的手法は、従来の言語モデルに比べて意味的に代表的な語彙をより適切に特定できるか？
• RQ3 B-PROPは、標準的なad-hoc検索ベンチマークでPROPや他のベースラインを上回る性能を達成できるか？
• RQ4 B-PROPは、ファインチューニングなしのゼロショット設定において、どの程度一般化できるか？
• RQ5 提案された事前学習目的は、ファインチューニングを経て、下流の検索タスクに効果的に転送可能か？

主な発見

• B-PROPは、TREC Robust04、ClueWeb09-B、Gov2ベンチマークで、PROPや他の強力なベースラインを上回る、新たな最先端性能を達成した。
• MS MARCO Document Ranking Leaderboardでは、前回のSOTAを大きく上回る改善を達成し、大規模検索における有効性を示した。
• ゼロショット設定では、ClueWeb09-BおよびGov2でBM25を上回り、ファインチューニングなしでも強力な一般化性能を示した。
• アブレーションスタディの結果、BERTの自己注意に基づく対照的サンプリングは、ランダムまたはunigramベースのサンプリングに比べて顕著に性能を向上させた。
• 教師ありデータ上でB-PROPをファインチューニングすることで、評価されたすべてのベンチマークで一貫的かつ顕著な向上が得られた。
• ROPとMLMの事前学習目的の組み合わせにより、単独で用いる場合よりも、より優れた文脈表現と代表語性の表現が得られた。