[论文解读] Batch Calibration: Rethinking Calibration for In-Context Learning and Prompt Engineering
Batch Calibration (BC) 是一种零-shot、仅推理的校准方法,通过边际化批量 ICL 输入中的上下文偏差来提升大语言模型提示与提示工程在多项 NLP 与视觉-语言任务上的表现,并达到对比基线的现有最优结果。若有标注数据可用,可扩展为少样本学习(BCL)。
Prompting and in-context learning (ICL) have become efficient learning paradigms for large language models (LLMs). However, LLMs suffer from prompt brittleness and various bias factors in the prompt, including but not limited to the formatting, the choice verbalizers, and the ICL examples. To address this problem that results in unexpected performance degradation, calibration methods have been developed to mitigate the effects of these biases while recovering LLM performance. In this work, we first conduct a systematic analysis of the existing calibration methods, where we both provide a unified view and reveal the failure cases. Inspired by these analyses, we propose Batch Calibration (BC), a simple yet intuitive method that controls the contextual bias from the batched input, unifies various prior approaches, and effectively addresses the aforementioned issues. BC is zero-shot, inference-only, and incurs negligible additional costs. In the few-shot setup, we further extend BC to allow it to learn the contextual bias from labeled data. We validate the effectiveness of BC with PaLM 2-(S, M, L) and CLIP models and demonstrate state-of-the-art performance over previous calibration baselines across more than 10 natural language understanding and image classification tasks.
研究动机与目标
- 分析现有的 ICL 校准方法以识别失效模式并统一其原理。
- 提出 Batch Calibration (BC) 作为一个简单的零-shot 校准层,减轻批量输入中的上下文偏差。
- 在有标签数据时,将 BC 扩展为可学习的黑箱少样本学习(BCL)变体。
- 在 PaLM 2 变体和 CLIP 上展示 BC 在多样化的 NLP 与图像任务中的有效性。
- 展示 BC 对提示设计选择的鲁棒性及其在视觉-语言模型中的适用性。
提出的方法
- 通过统一框架定义并分析现有的校准方法及其决策边界。
- 提出 BC:从一批未标注样本中估计类别级上下文先验,并通过从 logits 中减去这些先验来进行校准(文本中给出方程)。
- 提供零-shot BC(无标签)以及带有单一可学习强度参数 γ 的扩展 BCL,以纳入带标签数据。
- 将 BC 应用于语言模型(PaLM 2-S/M/L)和视觉-语言模型(CLIP)。
- 在 13 个 NLP 任务(GLUE/SuperGLUE 套件及更多)及若干图像任务上评估 BC;与 ICL、CC、DC、PC 基线进行比较。
- 对于 BCL:在带标签数据上通过网格搜索学习 γ,以最大化准确率。
实验结果
研究问题
- RQ1在 ICL 中,什么样的决策边界更利于校准?
- RQ2内容无关先验是否是跨任务与模态的上下文偏差的合适估计?
- RQ3是否仅需一个简单的线性校准边界就能在多样任务中鲁棒地缓解上下文偏差?
- RQ4在零-shot 和少-shot 设置下,Batch Calibration 相对于旧基线在 NLP 与视觉-语言任务中的表现如何?
主要发现
- BC 在 ICL 基线之上持续带来改进,在各任务中取得显著提升(例如 PaLM 2-S 和 PaLM 2-L)。
- BC 超越了最先进的原型校准(PC)基线,在 PaLM 2-L 实验中对 CC 也可实现平均领先。
- BC 对提示选择(模板、示例顺序、表述者)鲁棒,只需未标注数据且计算开销低。
- 在视觉-语言设置(CLIP)中,BC 产生显著的零-shot 增益,显示方法对模态无关的有效性。
- 带单一强度参数 γ 的可学习 BCL 变体在有标签数据时可产生额外中等增益。
- BC 展现出比 PC 更好的样本效率,大幅减少用于稳定性能的未标注样本数量(约 10 与 >500 相比)。
- BC 降低了提示的脆弱性并简化提示工程,同时在跨任务中保持强大性能。
阅读本论文
在 Nubint 阅读器中打开原文,边读边就任意段落提问。
在 Nubint 中阅读本论文本解读由 AI 根据论文原文生成,引用前请核对原文。