[論文レビュー] Pre-trained Language Model for Web-scale Retrieval in Baidu Search

Yiding Liu, Guan Huang+8 more|arXiv (Cornell University)|Jun 7, 2021

Topic Modeling参考文献 49被引用数 4

ひとこと要約

この論文では、Baidu検索における本番環境対応のリトリーブシステムを提示している。このシステムは、ERINE事前学習言語モデルを活用して、ウェブ規模のリトリーブにおける意味的マッチングを向上させている。変換器ベースのバイエンコーダーを用い、段階的な訓練パラダイムと統合されたデプロイメントワークフローを採用することで、特に低頻度および自然言語クエリにおいて、リトリーブ効果が顕著に向上した。オンラインユーザー参加指標（クリックスルーレートや滞在時間など）においても顕著な向上が確認された。

ABSTRACT

Retrieval is a crucial stage in web search that identifies a small set of query-relevant candidates from a billion-scale corpus. Discovering more semantically-related candidates in the retrieval stage is very promising to expose more high-quality results to the end users. However, it still remains non-trivial challenges of building and deploying effective retrieval models for semantic matching in real search engine. In this paper, we describe the retrieval system that we developed and deployed in Baidu Search. The system exploits the recent state-of-the-art Chinese pretrained language model, namely Enhanced Representation through kNowledge IntEgration (ERNIE), which facilitates the system with expressive semantic matching. In particular, we developed an ERNIE-based retrieval model, which is equipped with 1) expressive Transformer-based semantic encoders, and 2) a comprehensive multi-stage training paradigm. More importantly, we present a practical system workflow for deploying the model in web-scale retrieval. Eventually, the system is fully deployed into production, where rigorous offline and online experiments were conducted. The results show that the system can perform high-quality candidate retrieval, especially for those tail queries with uncommon demands. Overall, the new retrieval system facilitated by pretrained language model (i.e., ERNIE) can largely improve the usability and applicability of our search engine.

研究の動機と目的

• 従来のキーワードベース手法（例：BM25）が言い換えや意味的に類似したコンテンツを捉えきれない、大規模ウェブリトリーブにおける意味的マッチングの課題に対処すること。
• 学習信号が限られるためモデル化が難しい低頻度のテールクエリのリトリーブパフォーマンスを向上させること。
• 本番環境で高トラフィックの検索エンジンで運用可能な、実用的でスケーラブルなシステムアーキテクチャを設計すること。
• 従来のテキストマッチングと統計的特徴を意味的マッチングと統合することで、候補の関連性とシステムの頑健性を向上させること。

提案手法

• クエリとドキュメントのそれぞれに別個のエンコーダーを持つERINEベースのバイエンコーダーを採用し、変換器の深層自己注意メカニズムを活用して細粒度な意味的表現をモデル化する。
• 多段階訓練パラダイムを採用し、多様なデータソースと目的を用いて段階的にモデルの一般化性能を向上させ、特にレアまたはOoV（未知語）クエリに対して強化する。
• 意味的マッチングと従来のBM25リトリーブを組み合わせることで、リcallと精度のバランスが取れたハイブリッドな候補生成戦略を実現する。
• 初期リトリーブ後のトップ候補を精査するために、軽量なポストリトリーブフィルタリングモジュールを導入し、統合された統計的特徴（例：クリックスルーレート、滞在時間）を統一的に活用する。
• 100億規模のウェブコーパス上で低遅延推論をサポートするスケーラブルなインfraストラクチャを備えた本番環境にデプロイされた。
• 関連性予測の向上を目的に、多様な相互作用を考慮したファインチューニングスキームとデータマイニング戦略を用いてモデルを最適化する。

Figure 1. Model architectures and relevance computation.

実験結果

リサーチクエスチョン

• RQ1 ERINEのような事前学習言語モデルは、従来のキーワードベース手法と比較して、ウェブスケールリトリーブにおける意味的マッチングを顕著に向上させることができるか？
• RQ2 多段階訓練は、特に低頻度またはテールクエリに対して、リトリーブモデルの一般化性能をどのように向上させるか？
• RQ3 ポストリトリーブフィルタリング段階で意味的特徴と統計的特徴を統合することで、最終的な結果品質はどの程度向上するか？
• RQ4 提案されたシステムアーキテクチャは、実世界の検索エンジンにおけるPLMベースのリトリーブモデルの効果的かつ効率的なデプロイメントを可能にするか？

主な発見

• オフライン評価において、ERINEベースのリトリーブモデルは、ランダムクエリでNDCG（正規化済み累積利益）を+0.17%、テールクエリで+0.22%向上させた。
• ポストリトリーブフィルタリングモジュールは、ランダムクエリでNDCGに+0.10%、テールクエリで+0.65%の寄与を示し、希少クエリに対してより強い影響を示した。
• マニュアル評価では、ランダムクエリでGood vs. Same vs. Bad（GSB）スコアが+3.50%相対改善、テールクエリで+7.50%の改善を達成し、品質向上が顕著に確認された。
• オンラインA/Bテストでは、合計クリック数が+0.31%増加、クリック＆ステイ行動が+0.57%増加、平均クリック後滞在時間が+0.62%増加し、すべてp < 0.05の有意差を示した。
• 長めの自然言語クエリに対して、短いクエリよりもより大きな改善が見られたことから、会話的・複雑なクエリの処理能力が向上したと示唆された。
• ERINEベースのリトリーブとポストリトリーブフィルタリングの組み合わせにより、すべての指標で統計的に有意な向上が確認され、ハイブリッドアーキテクチャの有効性が裏付けられた。

Figure 2. Illustration of negative sampling during training.