[論文レビュー] Found in the Middle: Permutation Self-Consistency Improves Listwise Ranking in Large Language Models

Raphael Tang, Xinyu Zhang+3 more|arXiv (Cornell University)|Oct 11, 2023

Topic Modeling被引用数 6

ひとこと要約

本論文は、入力リストを複数回シャッフルすることで、大規模言語モデル（LLMs）の順序バイアスを低減するデコーディング手法「順列自己一貫性（permutation self-consistency）」を提案する。この手法により、同じLLMから多様な順序付けを生成し、Kemeny最適化を用いてそれらを集約して中央順序付けを生成する。この方法により、パassage再ランクタスクにおいて、GPT-3.5およびLLaMA v2（70B）で最高18%の順序付け精度向上を達成し、モデル内部構造にアクセスせずに、新たなSOTAを樹立した。

ABSTRACT

Large language models (LLMs) exhibit positional bias in how they use context, which especially complicates listwise ranking. To address this, we propose permutation self-consistency, a form of self-consistency over ranking list outputs of black-box LLMs. Our key idea is to marginalize out different list orders in the prompt to produce an order-independent ranking with less positional bias. First, given some input prompt, we repeatedly shuffle the list in the prompt and pass it through the LLM while holding the instructions the same. Next, we aggregate the resulting sample of rankings by computing the central ranking closest in distance to all of them, marginalizing out prompt order biases in the process. Theoretically, we prove the robustness of our method, showing convergence to the true ranking in the presence of random perturbations. Empirically, on five list-ranking datasets in sorting and passage reranking, our approach improves scores from conventional inference by up to 7-18% for GPT-3.5 and 8-16% for LLaMA v2 (70B), surpassing the previous state of the art in passage reranking. Our code is at https://github.com/castorini/perm-sc.

研究の動機と目的

• 入力リストの順序やアイテムの配置に依存するモデル出力の問題を解消することを目的とし、リストワイズ順序付けの文脈におけるLLMの順序バイアスを是正する。
• モデル内部構造へのアクセスを必要とせず、ブラックボックスLLMの順序付けタスクにおける一貫性と耐性を向上させることを目的とする。
• プロンプト順序に依存しないが、高い順序付け品質を維持するデコーディング戦略を開発することを目的とする。
• 多様なリスト順序付けタスク（パassage再ランクタスクやソートタスクなど）において、実験的に本手法の有効性を検証することを目的とする。
• 特定の条件下で、本手法のノイズ耐性と真の順序付けへの収束性について理論的分析を行うこと。

提案手法

• 同じLLMから多様な出力を得るために、指示文を固定したまま入力リストを繰り返しシャッフルし、複数の順序付けを生成する。
• Kemeny順序付け法を用いて、すべての生成順序付けとのケンダールのtau距離を最小化する中央順序付けを計算する。
• 複数回のシャッフル入力からの順序付けを集約することで、プロンプト順序バイアスを平均化し、共通順序付けを特定する。
• モデルの微調整や隠れ表現へのアクセスを必要とせず、順序に依存しないアプローチを採用する。
• 各シャッフルを独立なサンプルとみなして、入力リストの順列に対する自己一貫性を活用する。
• 計算効率が高く、並列処理が可能であり、集約時間はサンプル数に依存しない。

Figure 1: The conventional decoding process for listwise ranking with input prompt a , language model c , and output ranking d . The grey item b is “lost in the middle” by the LLM, resulting in its misranking e .

実験結果

リサーチクエスチョン

• RQ1 順列自己一貫性は、LLMのリストワイズ順序付けタスクにおける順序バイアスを低減できるか？
• RQ2 本手法は、多様なデータセットおよびLLMにおいて、順序付け精度の向上にどの程度有効か？
• RQ3 シャッフルサンプル数の増加が性能向上に与える影響は何か？
• RQ4 本手法は、順序付け出力に任意のノイズ分布が存在する状況でも耐性を示すか？
• RQ5 既存手法と比較して、一貫性とプロンプト順序不変性の観点から、本手法はどのように優れているか？

主な発見

• GPT-3.5ではパassage再ランクタスクで最大18%、LLaMA v2（70B）では最大16%の順序付けスコア向上を達成した。
• TREC-DL19およびTREC-DL20のパassage順序付けベンチマークで、新たなSOTAを樹立した。
• 20個のシャッフルサンプルで、20個のサンプルで得られる最大性能向上の67%を達成しており、迅速な収束を示した。
• サンプリング温度が性能にほとんど影響しないことから、リストワイズ順序付けでは探索の必要がないことが示唆された。これは、チェーン・オブ・トゥークの手法とは対照的である。
• ノイズに強く、十分なサンプル数と、各観測で少なくとも1組の正しい順序ペアが存在する条件下では、真の順序付けに収束することが確認された。
• Kemeny集約法は、LLMに一般的に見られる「真ん中で失われる」効果を特に効果的に緩和し、順序バイアスを低減する効果を示した。

Figure 2: Our permutation self-consistency process. With the instruction fixed, we shuffle the input list for prompts a , producing outputs with different mistakes. We then aggregate b these output rankings into one c .