[論文レビュー] Zero-Shot Listwise Document Reranking with a Large Language Model

Xueguang Ma, Xinyu Zhang+2 more|arXiv (Cornell University)|May 3, 2023

Text and Document Classification Technologies被引用数 20

ひとこと要約

本論文は、GPT-3を用いたゼロショットのリストワイズ再ランクラーLRLを提案し、クエリに対する候補文書リストを再順序付けする。タスク特化の訓練なしで、TREC DLデータセットおよび多言語MIRACLデータに対して、ゼロショットのポイントワイズ再ランクラーより改善を示す。

ABSTRACT

Supervised ranking methods based on bi-encoder or cross-encoder architectures have shown success in multi-stage text ranking tasks, but they require large amounts of relevance judgments as training data. In this work, we propose Listwise Reranker with a Large Language Model (LRL), which achieves strong reranking effectiveness without using any task-specific training data. Different from the existing pointwise ranking methods, where documents are scored independently and ranked according to the scores, LRL directly generates a reordered list of document identifiers given the candidate documents. Experiments on three TREC web search datasets demonstrate that LRL not only outperforms zero-shot pointwise methods when reranking first-stage retrieval results, but can also act as a final-stage reranker to improve the top-ranked results of a pointwise method for improved efficiency. Additionally, we apply our approach to subsets of MIRACL, a recent multilingual retrieval dataset, with results showing its potential to generalize across different languages.

研究の動機と目的

• ラベル付きデータなしでのゼロショット再ランクを動機づける、多段階検索パイプライン向け。
• 大規模言語モデルを用いた候補文書の再排序を行うリストワイズ再ランクラーを提案。
• 多様なデータセット（TREC DL、MIRACL）で、リストワイズとポイントワイズのゼロショット再ランクを比較。
• GPT-3を用いた多言語対応ゼロショット再ランクの可能性を示す。
• 入力長の制限に対処するためのプロンプト設計や段階的再ランクなど、実用的考慮を探る。

提案手法

• 指定クエリに対して文書識別子の整列済みリストを出力するリストワイズ再ランクを記述。
• 関連性でソートされたパッセージのリストを引き出すプロンプトと、公平な比較のための基準となるポイントワイズプロンプト（PRL）を設計。
• モデル入力制限を超える長い候補リストに対処するため、スライディングウィンドウの段階的再ランク戦略を用いる。
• DL19/DL20/DL21 および MIRACL多言語データセットで、ゼロショットLRLをBM25、Contriever、UPR、PRLと比較評価。
• ベースラインに対する利得を定量化する指標（nDCG@10、MRR@10）を報告。

実験結果

リサーチクエスチョン

• RQ1 標準的および多言語検索ベンチマークで、ゼロショットのリストワイズ再ランクがゼロショットのポイントワイズ再ランクを上回ることができるか？
• RQ2 複数文書を共同で考慮することは、ゼロショット設定で独立した文書スコアリングより再ランクシグナルを改善するか？
• RQ3 上位結果を向上させつつ効率を維持する最後の再ランクとしてLRLの性能はどうか？
• RQ4 MIRACLのような多言語データセットで手法は言語間で一般化できるか？

主な発見

• LRLは、3つのTREC DLデータセットでゼロショットのポイントワイズ再ランクラー（例：UPR、PRL）を平均約6点と3点のnDCG@10ポイントで上回る。
• LRLはBM25に対してMIRACL多言語データで実質的な利得を達成し、言語の一部で顕著なnDCG@10向上を示す。
• top-10/20として追加の再ランク段階としてLRLを用いると、ポイントワイズ手法を上回るさらなる改善をもたらし、リストワイズ再ランクからの上位リスト信号が強いことを示す。
• 特定の設定でゼロショットLRLの性能が、いくつかの監視付き dense retrievers に近づくまたは上回ることがあり、LLMベースのゼロショット再ランクの可能性を強調。
• 非英語言語（中国語、スワヒリ語、ヨルバ語）での実験は、言語間の一般化の可能性を示す。