[論文レビュー] RankVicuna: Zero-Shot Listwise Document Reranking with Open-Source Large Language Models

Ronak Pradeep, Sahel Sharifymoghaddam+1 more|arXiv (Cornell University)|Sep 26, 2023

Topic Modeling被引用数 11

ひとこと要約

RankVicunaは、RankGPT 3.5から蒸留された7B Vicunaモデルを使用し、TREC DL19/20データでGPT-3.5と競争力のある有効性を達成し、GPT-4に近づく完全オープンソースのLLMベースのゼロショットリストワイズドキュメントリランカーです。

ABSTRACT

Researchers have successfully applied large language models (LLMs) such as ChatGPT to reranking in an information retrieval context, but to date, such work has mostly been built on proprietary models hidden behind opaque API endpoints. This approach yields experimental results that are not reproducible and non-deterministic, threatening the veracity of outcomes that build on such shaky foundations. To address this significant shortcoming, we present RankVicuna, the first fully open-source LLM capable of performing high-quality listwise reranking in a zero-shot setting. Experimental results on the TREC 2019 and 2020 Deep Learning Tracks show that we can achieve effectiveness comparable to zero-shot reranking with GPT-3.5 with a much smaller 7B parameter model, although our effectiveness remains slightly behind reranking with GPT-4. We hope our work provides the foundation for future research on reranking with modern LLMs. All the code necessary to reproduce our results is available at https://github.com/castorini/rank_llm.

研究の動機と目的

• 情報検索においてオープンソースのLLMが高品質なゼロショットリストワイズリランキングを実行できることを示す。
• RankVicunaをTREC 2019および2020 Deep Learningトラックのプロプリエタリなプロンプトデコーダーおよびベースラインと比較評価する。
• 第一段階のリトリーバの影響、データ拡張、プログレッシブリランキングが有効性と頑健性に与える影響を調査する。
• オープンソースのリランキング研究を促進する再現可能なインフラとモデルチェックポイントを提供する。

提案手法

• VicunaをオープンソースLLMとして用いたプロンプトデコーダー方式によるゼロショットリストワイリランキングを定式化する。
• RankVicuna (7B)をRankGPT 3.5生成の教師ランキングとデータ拡張（入力のシャッフル、基準参照としてのBM25を維持）を用いて訓練し、堅牢なランキングを生成する。
• 滑動窓法（サイズ20、ストライド10）を用いて制約付きコンテキストサイズ内のトップ100候補を再排序する。
• RankVicunaをBM25、Contriever、RankGPT 3.5、RankGPT 4、LRL、PRP-Sliding-10 variante、SPLADE++ EDと比較する DL19/DL20データセット全体。
• DL19およびDL20のテストコレクションでnDCG@10とMAP@100を用いて評価する。

実験結果

リサーチクエスチョン

• RQ1 オープンソースのLLMはプロプリエタリモデルと競合するゼロショットのリストワイズリランクを達成できるか。
• RQ2 RankVicunaはゼロショットリランキング設定でGPT-3.5およびGPT-4と比較してどの程度の性能を示すか。
• RQ3 第一段階のリトリーバ品質とデータ拡張がリランキングの有効性と頑健性に与える影響は何か。
• RQ4 RankVicunaの安定性と決定性はプロプリエタリなプロンプトデコーダーと比較してどのような特性を持つか。

主な発見

• RankVicuna (7B)はDL20データセットでRankGPT 3.5と同等のnDCG@10およびMAP@100を達成し、RankGPT 4にはわずかに及ばない。
• RankVicunaはLRLゼロショット手法を上回り、第一段階としてSPLADE++ EDと組み合わせた場合に競争力のある性能を示す。
• RankVicunaはオープンソースのベースラインに匹敵または上回る性能を示し、完全にオープンソースかつ決定的である。
• データ拡張はシャッフルされた候補と初期リトリーバの品質に対する頑健性を向上させるが、特定の第一段階設定でトレードオフが生じる場合がある。
• RankVicunaによるプログレッシブリランキングは、PRP-Sliding variant (PRPVicuna)と比較して収束を早め、最終的なnDCG@10を改善する。
• table_headers:['手法','前回の Top-k','DL19 nDCG@10','DL19 MAP@100','DL20 nDCG@10','DL20 MAP@100'],"table_rows":[ [ '(1a) BM25', 'None C', '0.5058', '0.2476', '0.4796', '0.2685'], [ '(1b) RankVicuna', 'BM25 20', '0.6164', '0.2867', '0.5986', '0.3194'], [ '(1c) RankVicuna', 'BM25 100', '0.6682', '0.3316', '0.6549', '0.3789'], [ '(2a) BM25 + RM3', 'None C', '0.5216', '0.2807', '0.4896', '0.2821'], [ '(2b) RankVicuna', 'BM25 + RM3 20', '0.6053', '0.3110', '0.5825', '0.3323'], [ '(2c) RankVicuna', 'BM25 + RM3 100', '0.6588', '0.3573', '0.6567', '0.3991'], [ '(3a) OpenAI ada2', 'None C', '0.7035', '0.4151', '0.6759', '0.4587'], [ '(3b) RankVicuna', 'OpenAI ada2 20', '0.7448', '0.4398', '0.7101', '0.4718'], [ '(3c) RankVicuna', 'OpenAI ada2 100', '0.7374', '0.4409', '0.7210', '0.4755'], [ '(4a) DistillBERT KD TASB', 'None C', '0.7210', '0.4050', '0.6854', '0.4520'], [ '(4b) RankVicuna', 'DistillBERT KD TASB 20', '0.7588', '0.4121', '0.7404', '0.4648'], [ '(4c) RankVicuna', 'DistillBERT KD TASB 100', '0.7551', '0.4170', '0.7049', '0.4620'], [ '(5a) SPLADE++ ED', 'None C', '0.7308', '0.4464', '0.7197', '0.4826'], [ '(5b) RankVicuna', 'SPLADE++ ED 20', '0.7532', '0.4491', '0.7455', '0.5150'], [ '(5c) RankVicuna', 'SPLADE++ ED 100', '0.7459', '0.4416', '0.7473', '0.5183']]} } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } }}}} } } } }}}} } } } }}}} } } } } }}}} } } } } } } } } } } } } } } (Note: 表内の内容はそのままです。）
• table_headers:[],
• table_rows:[]