[論文レビュー] The Expando-Mono-Duo Design Pattern for Text Ranking with Pretrained Sequence-to-Sequence Models

Ronak Pradeep, Rodrigo Nogueira+1 more|arXiv (Cornell University)|Jan 14, 2021

Topic Modeling参考文献 61被引用数 40

ひとこと要約

本論文は Expando-Mono-Duo を紹介する。多段階のテキストランキング設計で、文書拡張と二つのリランキング段階（monoT5 および duoT5）を含む。オープンソース実装とともに複数のベンチマークで検証されている。

ABSTRACT

We propose a design pattern for tackling text ranking problems, dubbed "Expando-Mono-Duo", that has been empirically validated for a number of ad hoc retrieval tasks in different domains. At the core, our design relies on pretrained sequence-to-sequence models within a standard multi-stage ranking architecture. "Expando" refers to the use of document expansion techniques to enrich keyword representations of texts prior to inverted indexing. "Mono" and "Duo" refer to components in a reranking pipeline based on a pointwise model and a pairwise model that rerank initial candidates retrieved using keyword search. We present experimental results from the MS MARCO passage and document ranking tasks, the TREC 2020 Deep Learning Track, and the TREC-COVID challenge that validate our design. In all these tasks, we achieve effectiveness that is at or near the state of the art, in some cases using a zero-shot approach that does not exploit any training data from the target task. To support replicability, implementations of our design pattern are open-sourced in the Pyserini IR toolkit and PyGaggle neural reranking library.

研究の動機と目的

• 文書拡張と seq-to-seq モデルを組み合わせた再利用可能なテキストランキングの設計パターンを、多段階パイプラインとして提案する。
• ゼロショット設定を含む複数のアドホック検索タスクとドメインでの有効性を示す。
• コンポーネントの寄与を定量化するエンドツーエンドの記述とアブレーションを提供する。
• 再現性と採用を支援するオープンソース実装を提供する。

提案手法

• 標準的な多段階ランキングアーキテクチャを拡張し、初期の文書拡張段階（Expando）を、事前学習済みの sequence-to-sequence モデルを使用して生成し、各文書にクエリ様の拡張を付加する。
• 逆インデックス法（BM25）を用いた第1段階のキーワード検索を実装し、候補集合を生成する。
• pretrained seq-to-seq トランスフォーマーを用いてランキングを絞り込むため、monoT5（pointwise）に続き duoT5（pairwise）を用いる2段階リランキングパイプラインを導入する。
• monoT5 と duoT5 の入力出力形式を説明し、確率がどのように生成されるか、対をなすスコアの集約方法（Sum、Sum-Log、Sym-Sum、Sym-Sum-Log）を含む。
• 長文に対する実用的な考慮事項と、ノイズや入力長の問題を回避するためにリランキング入力から拡張クエリを除外する選択について論じる。
• Pyserini IR toolkit と PyGaggle neural reranking ライブラリを用いた展開詳細と再現実験を提供する。

実験結果

リサーチクエスチョン

• RQ1 Expando-Mono-Duo パターンは、複数のアドホック検索タスクにおいて最先端またはほぼ最先端の有効性を達成するのか？
• RQ2 タスク固有のファインチューニングを必要とせず、seq-to-seq モデルによる文書拡張は初期の検索性能を改善できるか？
• RQ3 Mono および Duo コンポーネントとそれらの集約戦略が最終ランキング品質に及ぼす影響は？
• RQ4 新しいタスク/データセットにパターンを適用した場合のゼロショット性能はどう比較されるか？
• RQ5 Expando-Mono-Duo を導入する際の実用的な考慮事項（例：入力長、計算コスト）は？

主な発見

• seq-to-seq モデルによる文書拡張はインデックス作成前の表現を豊かにし、第1段階の検索を改善する。
• monoT5 と duoT5 を用いる2段階リランキングパイプラインは、いくつかのベンチマークで最先端レベルまたはそれに近い有効性を達成する。
• ゼロショット設定はタスク固有のファインチューニングを必要とせず高い成果を達成でき、パターンの汎用性を示している。
• アブレーション分析は全体的な性能への Expando、Mono、Duo コンポーネントの寄与を定量化する。
• このアプローチはオープンソースツール（Pyserini IR toolkit と PyGaggle）で実装されており、再現性を支援する。