[論文レビュー] Batch Calibration: Rethinking Calibration for In-Context Learning and Prompt Engineering
Batch Calibration (BC) はゼロショット、推論のみのキャリブレーション手法で、バッチ化された ICL 入力から文脈的バイアスを周辺化し、NLP およびビジョン-言語タスク全般の LLM プ prompting と prompt engineering を改善し、従来のベースラインに対して最先端の結果を達成します。ラベル付きデータが利用可能な場合には few-shot 学習 (BCL) に拡張可能です。
Prompting and in-context learning (ICL) have become efficient learning paradigms for large language models (LLMs). However, LLMs suffer from prompt brittleness and various bias factors in the prompt, including but not limited to the formatting, the choice verbalizers, and the ICL examples. To address this problem that results in unexpected performance degradation, calibration methods have been developed to mitigate the effects of these biases while recovering LLM performance. In this work, we first conduct a systematic analysis of the existing calibration methods, where we both provide a unified view and reveal the failure cases. Inspired by these analyses, we propose Batch Calibration (BC), a simple yet intuitive method that controls the contextual bias from the batched input, unifies various prior approaches, and effectively addresses the aforementioned issues. BC is zero-shot, inference-only, and incurs negligible additional costs. In the few-shot setup, we further extend BC to allow it to learn the contextual bias from labeled data. We validate the effectiveness of BC with PaLM 2-(S, M, L) and CLIP models and demonstrate state-of-the-art performance over previous calibration baselines across more than 10 natural language understanding and image classification tasks.
研究の動機と目的
- 既存の ICL キャリブレーション方法を分析して失敗モードを特定し、その原理を統一する。
- Batch Calibration (BC) を、バッチ入力の文脈的バイアスを緩和する単純でゼロショットのキャリブレーション層として提案する。
- ラベル付きデータが利用可能な場合に、BC を学習可能なブラックボックスの few-shot 学習 (BCL) 変種へ拡張する。
- PaLM 2 系列および CLIP における BC の多様な NLP および画像タスクでの有効性を実証する。
- prompt 設計の選択肢に対する BC の頑健性と、ビジョン-言語モデルへの適用性を示す。
提案手法
- 統一フレームワーク内の決定境界として既存のキャリブレーション手法を定義・分析する。
- BC: 未ラベルのサンプルのバッチからクラス別の文脈事前確率を推定し、これらの事前確率をロジットから引くことでキャリブレーションを行う(本文中に方程式あり)。
- ラベルなしのゼロショット BC と、ラベルデータを取り入れるための単一の学習可能な強さパラメータ γ を用いた拡張 BCL を提供する。
- BC を言語モデル(PaLM 2-S/M/L)およびビジョン-言語モデル(CLIP)へ適用する。
- BC を 13 の NLP タスク(GLUE/SuperGLUE 系統およびその他)および複数の画像タスクで評価し、ICL、CC、DC、PC のベースラインと比較する。
- BCL の場合、ラベル付きデータ上でグリッド探索により γ を学習し正確さを最大化する。
実験結果
リサーチクエスチョン
- RQ1ICL におけるキャリブレーションのためのより良い決定境界とは何か。
- RQ2コンテンツフリーの事前情報は、タスクやモダリティ全体の文脈的バイアスを適切に推定する estimator となり得るのか。
- RQ3単純な線形キャリブレーション境界は、多様なタスクにおける文脈的バイアスを頑健に緩和するのに十分か。
- RQ4ゼロショットおよび few-shot セットアップで、NLP およびビジョン-言語タスクに対する BC の性能は従来ベースラインと比較してどうか。
主な発見
- BC は ICL ベースラインを一貫して上回り、PaLM 2-S および PaLM 2-L などのタスクで顕著な改善を達成する。
- BC は最先端の Prototypical Calibration (PC) ベースラインを上回り、PaLM 2-L 実験では平均で CC をも上回ることがある。
- BC はプロンプトの選択肢(テンプレート、例の順序、表現子)に頑健で、ラベルなしデータのみを必要とし、計算オーバーヘッドが低い。
- ビジョン-言語設定(CLIP)でも BC はゼロショットで大きな利得を生み、方法のモダリティ非依存の有効性を示す。
- 学習可能な BCL 変種は γ という単一の強さパラメータで、ラベルデータが利用可能な場合に追加の控えめな利得を生む可能性がある。
- BC は PC よりサンプル効率が良く、性能の安定化に必要なラベルなしサンプル数がはるかに少ない(約 10 vs >500)。
- BC はプロンプトの脆弱性を低減し、プロンプト設計を単純化しつつ、タスク全体で高い性能を維持する。
この論文を読む
Nubintのビューアで原文を開き、読みながら気になる箇所をすぐに質問できます。
Nubintでこの論文を読むこのレビューはAIが論文の原文をもとに作成しました。引用する前に原文をご確認ください。