[論文レビュー] Document Ranking with a Pretrained Sequence-to-Sequence Model

Rodrigo Nogueira, Zhiying Jiang+1 more|arXiv (Cornell University)|Mar 14, 2020

Topic Modeling参考文献 19被引用数 18

ひとこと要約

本稿では、T5を用いたドキュメント再ランク付けのための新しいシーケンス・ツー・シーケンスのファインチューニング手法を提案する。関連性は、ターゲットトークンとして 'true' もしくは 'false' を生成することで予測される。この手法は、滑らかな生成によってモデルの潜在的意味的知識を活用することで、特にデータが少ない状況下でも、BERTベースの分類モデルを上回り、TREC Robust04において最先端のゼロショット転送性能を達成し、データ効率性に優れる。

ABSTRACT

This work proposes a novel adaptation of a pretrained sequence-to-sequence model to the task of document ranking. Our approach is fundamentally different from a commonly-adopted classification-based formulation of ranking, based on encoder-only pretrained transformer architectures such as BERT. We show how a sequence-to-sequence model can be trained to generate relevance labels as "target words", and how the underlying logits of these target words can be interpreted as relevance probabilities for ranking. On the popular MS MARCO passage ranking task, experimental results show that our approach is at least on par with previous classification-based models and can surpass them with larger, more-recent models. On the test collection from the TREC 2004 Robust Track, we demonstrate a zero-shot transfer-based approach that outperforms previous state-of-the-art models requiring in-dataset cross-validation. Furthermore, we find that our approach significantly outperforms an encoder-only model in a data-poor regime (i.e., with few training examples). We investigate this observation further by varying target words to probe the model's use of latent knowledge.

研究の動機と目的

• 事前学習済みのシーケンス・ツー・シーケンスモデルを用いた分類ベースのドキュメント再ランク付けの代替として、生成ベースの手法を検討すること。
• シーケンス・ツー・シーケンスモデルが、特にデータが乏しい状況下で、潜在的意味的知識を活用してランク付け性能を向上させられるかどうかを評価すること。
• モデルの性能が異なるターゲット語の選択にどのように影響を受けるかを調査し、モデルが意味的関連性や文法的構造に依存しているかを検証すること。
• さまざまなデータ量の下で、標準的なBERTベースの分類モデルと比較して、シーケンス・ツー・シーケンスモデルの有効性を検証すること。
• TREC Robust04において、データセット内でのハイパーパrameterチューニングなしでゼロショット転送能力を示すことを実証すること。

提案手法

• モデルは、クエリ・ドキュメントペアを入力とし、'Query: q Document: d Relevant:'というフォーマットで、出力トークンとして 'true' もしくは 'false' を生成するようにファインチューニングされる。
• 推論時、関連性の確率は、'true'トークンのソフトマックス正規化済みログティットから導出され、関連性スコアによるランク付けが可能になる。
• ターゲット語は単一のサブワードトークン（例：'true'、'false'）として選択され、サブワードの集積の複雑さを回避するとともに、解釈可能性を保つ。
• 本アプローチはドキュメント関連性をテキスト生成タスクとして扱い、事前学習によって得られた意味的・構文的知識を活用できる。
• プロービング実験では、ターゲット語を変化させることで、モデルが意味的関連性、極性、文法的構造にどれほど依存しているかをテストする。
• 実験はMS MARCOパッセージランクイングおよびTREC Robust04で実施され、データ不足とターゲット語の設定に関するアブレーションスタディが実施される。

実験結果

リサーチクエスチョン

• RQ1 T5のようなシーケンス・ツー・シーケンスモデルは、関連性予測をテキスト生成タスクとして定式化することで、ドキュメント再ランク付けに効果的に適応可能か？
• RQ2 特にトレーニングデータが限られた状況下で、シーケンス・ツー・シーケンスアプローチがBERTのような分類ベースのモデルを上回るか？
• RQ3 モデルは、記憶されたラベルマッピングではなく、潜在的意味的知識にどれほど依存しているか？
• RQ4 異なったターゲット語の選択（例：反意語、対義語、無関係語）が、モデルの性能と耐性にどのように影響を与えるか？
• RQ5 TREC Robust04のような未学習のテストコレクションに対して、データセット内でのハイパーパrameterチューニングなしでゼロショット一般化が可能か？

主な発見

• MS MARCOパッセージランクイングタスクにおいて、T5ベースの手法は、特に大きなモデルやデータが少ない状況下で、BERTベースのモデルと同等以上に性能を発揮する。
• 2,000件のトレーニング例でのみ、T5モデルはBERTを著しく上回り、優れたデータ効率性を示す。
• TREC Robust04では、データセット内クロスバリデーションを必要としていた過去の最先端モデルを上回るゼロショット転送性能を達成した。
• ベースライン設定（'true'／'false'）は、2,000件および20,000件のデータ設定の両方で最高の有効性を示し、モデルの事前学習と強い整合性があることを示している。
• 無関係語やサブワードトークン（例：'_ab'、'_de'）をプロービングに用いた場合、性能が著しく低下し、モデルが意味的・文法的知識に依存していることを確認した。
• 意味的に関連するターゲット語（例：'apple' と 'orange'）を用いた場合、極性の対比（例：'hot' と 'cold'）を用いた場合よりも性能が高く、二値分類をはるかに超えた洗練された意味的理解が可能であることを示唆している。