[論文レビュー] Large Language Models Are Not Robust Multiple Choice Selectors

Chujie Zheng, Hao Zhou+3 more|arXiv (Cornell University)|Sep 7, 2023

Topic Modeling被引用数 22

ひとこと要約

本論文は、LLMがMCQにおいてオプションIDへのトークンバイアスのため選択バイアスを示すことを示し、予測をデバイアスするオプションIDの事前分布を推定するゼロラベル、推論時デバイアス除去法 PriDe を提案する。

ABSTRACT

Multiple choice questions (MCQs) serve as a common yet important task format in the evaluation of large language models (LLMs). This work shows that modern LLMs are vulnerable to option position changes in MCQs due to their inherent "selection bias", namely, they prefer to select specific option IDs as answers (like "Option A"). Through extensive empirical analyses with 20 LLMs on three benchmarks, we pinpoint that this behavioral bias primarily stems from LLMs' token bias, where the model a priori assigns more probabilistic mass to specific option ID tokens (e.g., A/B/C/D) when predicting answers from the option IDs. To mitigate selection bias, we propose a label-free, inference-time debiasing method, called PriDe, which separates the model's prior bias for option IDs from the overall prediction distribution. PriDe first estimates the prior by permutating option contents on a small number of test samples, and then applies the estimated prior to debias the remaining samples. We demonstrate that it achieves interpretable and transferable debiasing with high computational efficiency. We hope this work can draw broader research attention to the bias and robustness of modern LLMs.

研究の動機と目的

• LLMがMCQのオプションIDに対する選択バイアスをどのように示すかと、それがベンチマーク全体の頑健性にどのように影響するかを特定する。
• MCQの回答選択におけるトークンバイアスと位置バイアスの役割を定量化する。
• 予測から事前バイアスを分離・緩和する、ラベルなしの推論時デバイアシング法（PriDe）を開発する。
• PriDeの有効性、効率、解釈性、およびクロスドメイン一般化を実証する。
• 学習された事前分布のドメイン間一般化可能性についての洞察を提供する。

提案手法

• 複数のベンチマークにわたり、オプションIDごとにリコールバランス（RStd）を用いて選択バイアスを定義・測定する。
• IDをシャッフルしたりプロンプトからIDを除去したりして、トークンバイアスと位置バイアスを分離するアブレーションを行う。
• PriDeを開発する：観測された予測をIDの事前分布とデバイアスされていない内容分布に分解してデバイアスのない分布を予測する。
• 小規模な推定集合に対して置換ベースのデバイアシングでサンプル固有の事前分布を推定し、残りのサンプルに対してグローバルな事前分布を導出する。
• パーミュテーションを跨ぐ平均対数予測の上にソフトマックスを取ることで事前分布を定式化する（式7）。
• パーミュテーションベースのベースライン（CyclicおよびFull Perm）に対するPriDeを実証し、クロスドメイン一般化を分析する。

実験結果

リサーチクエスチョン

• RQ1 MCQを解く際にLLMにおける選択バイアスの原因は何か、トークンバイアスと位置バイアスはどのように寄与するか。
• RQ2 ラベルなしの推論時法がMCQの性能を損なうことなくこのバイアスを緩和できるか。
• RQ3 PriDeは、パーミュテーションベースのベースラインと比較して頑健性と効率の向上にどれほど効果的か。
• RQ4 1つのドメインで推定された事前分布は他のドメインに一般化するか。

主な発見

• 選択バイアスは20のLLM全体に一般的に見られ、モデルファミリとサイズによって異なる。
• トークンバイアスが選択バイアスの主要な内因的原因であることが特定され、位置バイアスはより小さな役割。
• 単純なプロンプティング戦略は選択バイアスを効果的に緩和しない。
• PriDeは、CyclicおよびFull Permのベースラインより優れており、特に計算コストが低い場合に顕著。
• PriDeの事前推定は解釈性とクロスドメイン一般化の潜在性を示す。
• 事前推定はサンプルサイズの変動（2%–20%）にも安定している。