[論文レビュー] Pretrained Transformers for Text Ranking: BERT and Beyond

Jimmy Lin, Rodrigo Nogueira+1 more|arXiv (Cornell University)|Oct 13, 2020

Topic Modeling参考文献 320被引用数 107

ひとこと要約

事前学習済みトランスフォーマーモデル、特に BERT をテキストランキングへ適用することの調査。リランク付けと密集検索、長文処理、効率性のトレードオフ、今後の方向性を網羅。

ABSTRACT

The goal of text ranking is to generate an ordered list of texts retrieved from a corpus in response to a query. Although the most common formulation of text ranking is search, instances of the task can also be found in many natural language processing applications. This survey provides an overview of text ranking with neural network architectures known as transformers, of which BERT is the best-known example. The combination of transformers and self-supervised pretraining has been responsible for a paradigm shift in natural language processing (NLP), information retrieval (IR), and beyond. In this survey, we provide a synthesis of existing work as a single point of entry for practitioners who wish to gain a better understanding of how to apply transformers to text ranking problems and researchers who wish to pursue work in this area. We cover a wide range of modern techniques, grouped into two high-level categories: transformer models that perform reranking in multi-stage architectures and dense retrieval techniques that perform ranking directly. There are two themes that pervade our survey: techniques for handling long documents, beyond typical sentence-by-sentence processing in NLP, and techniques for addressing the tradeoff between effectiveness (i.e., result quality) and efficiency (e.g., query latency, model and index size). Although transformer architectures and pretraining techniques are recent innovations, many aspects of how they are applied to text ranking are relatively well understood and represent mature techniques. However, there remain many open research questions, and thus in addition to laying out the foundations of pretrained transformers for text ranking, this survey also attempts to prognosticate where the field is heading.

研究の動機と目的

• 実務者と研究者のために、トランスフォーマーがテキストランキングに適用される方法を総合する。
• 技術を多段階のリランキングと密集検索アプローチに分類する。
• 長文の取り扱い方法と効果と効率のトレードオフを強調する。
• 現状を調査し、未解決の研究課題と今後の方向性を特定する。

提案手法

• トランスフォーマーを用いたリランキングの多段階アーキテクチャを説明する（例：monoBERT、Birch、 PARADE、CEDR）。
• トランスフォーマーのバイエンコーダによる密集検索（例：DPR、ANCE）および遅延相互作用モデル（例：ColBERT）を論じる。
• 知識蒸留とモデルの派生（例：TK、TKL、CK、monoT5）を扱う。
• クエリ/ドキュメント拡張と重み付け技術（doc2query、DeepCT、HDCT、CEQE）を説明する。
• 長文処理と効率性の考慮事項（待機時間、インデックスサイズ）および実用的なデプロイメント上の懸念に対処する。

実験結果

リサーチクエスチョン

• RQ1 事前学習済みトランスフォーマーをさまざまなドメインのテキストランキング課題に効果的に適用するにはどうすればよいか？
• RQ2 ランキングの制約内で長文を最もよく扱う戦略は何か？
• RQ3 トランスフォーマーベースのシステムにおけるランキングの有効性と効率性のトレードオフは何か？
• RQ4 トランスフォーマーをテキストランキングへ適用する際に残る未解決の研究課題は何か？

主な発見

• Transformer-based models deliver high-quality results across text ranking domains and tasks.
• BERT enables strong performance in relevance classification and as a foundation for reranking architectures.
• There are effective strategies for long-text handling and for balancing accuracy with latency and index size.
• Dense representations and near-neighbor search enable direct, single-stage ranking in some setups.
• Variants and distillation techniques provide different efficiency–effectiveness tradeoffs while leveraging transformer strengths.
• The field has mature core techniques but also ongoing open questions and directions for future work.