[论文解读] Fine-tune Language Models to Approximate Unbiased In-context Learning

Timothy N. Chu, Zhao Song+1 more|arXiv (Cornell University)|Oct 5, 2023

Topic ModelingComputer Science被引用 3

一句话总结

本文提出 RICL（重加权上下文学习）和 LARICL（重加权上下文学习的线性近似），通过微调语言模型来重新加权输入-输出示例，以缓解上下文学习中的偏差与不平衡问题。该方法在数值基准测试中显著提升性能，RICL 在噪声或不平衡前缀下优于标准上下文学习和全模型微调。

ABSTRACT

In-context learning (ICL) is an astonishing emergent ability of large language models (LLMs). By presenting a prompt that includes multiple input-output pairs as examples and introducing a new query input, models can generate the corresponding output. However, the performance of models heavily relies on the quality of the input prompt when implementing in-context learning. Biased or imbalanced input prompts can significantly degrade the performance of language models. To address this issue, we introduce a reweighted algorithm called RICL (Reweighted In-context Learning). This algorithm fine-tunes language models using an unbiased validation set to determine the optimal weight for each input-output example to approximate unbiased in-context learning. Furthermore, we also introduce a low-cost reweighted algorithm, a linear optimal weight approximation algorithm called LARICL (Linear Approximation of Reweighted In-context Learning). This algorithm requires minimal training cost while providing effective results. We prove the convergence of our algorithm and validate its performance through experiments conducted on a numerical dataset. The experimental findings reveal a substantial improvement in comparison to benchmarks including the performance of casual prompt-based in-context learning and the performance of a classic fine-tuning method.

研究动机与目标

• 解决上下文学习（ICL）对有偏、不平衡或噪声输入提示的脆弱性，此类提示会降低模型性能。
• 开发一种低成本、高效的方法，以近似无偏的上下文学习，而无需重新训练完整模型。
• 为所提出的重加权算法提供理论收敛保证，以确保鲁棒性与可靠性。
• 通过在无偏验证集上微调学习最优示例权重，提升少样本上下文学习的泛化性与公平性。

提出的方法

• 提出 RICL，一种微调方法，在嵌入层后添加可学习的权重矩阵 $W$ 和偏置 $B$，以重新加权提示中的输入-输出示例。
• 通过 $W \cdot \text{Prefix} + B$ 重新加权嵌入后的前缀，以近似无偏的上下文预测器，最小化验证集上的预测误差。
• 提出 LARICL，即 RICL 的线性近似，通过简化重加权机制降低训练成本，同时保持性能。
• 理论分析证明了训练目标的利普希茨-光滑性，并建立了重加权算法的收敛边界。
• 使用 4,000 个样本的验证集训练重加权参数，测试集用于评估在各种提示分布下的均方误差（MSE）性能。
• 对 MSE 分数应用最小-最大归一化，以实现不同方法间的公平比较，尤其当 ICL 展现出显著更高的误差时。

实验结果

研究问题

• RQ1 在上下文学习中重新加权输入示例是否能提升模型对不平衡或噪声提示的鲁棒性？
• RQ2 与标准上下文学习和全模型微调相比，使用重加权示例进行微调在准确率和泛化能力方面表现如何？
• RQ3 重加权机制的线性近似（LARICL）是否能在极低训练成本下实现接近最优的性能？
• RQ4 在不同提示分布下，重加权算法的理论收敛行为如何？
• RQ5 RICL 和 LARICL 对输入提示中极端分布（如高方差或均值偏移特征）的鲁棒性如何？

主要发现

• RICL 在数值基准测试中显著优于标准上下文学习和全模型微调，尤其在不平衡和噪声前缀下表现更优。
• LARICL 在训练成本显著降低的同时，性能接近 RICL，使其在实际部署中更具可行性。
• 在均值范围为 0.2 至 1.6 的不平衡前缀下，RICL 保持了较低的最小-最大归一化 MSE，展现出强大的鲁棒性。
• 在标准差范围为 0.2 至 1.6 的噪声前缀下，RICL 的误差始终低于 ICL 和微调方法，证实其对输入噪声的强韧性。
• 最小-最大归一化 MSE 指标表明，ICL 的误差显著高于 RICL 和微调方法，证实了重加权的必要性。
• 建立了理论收敛边界，支持 RICL 中重加权优化过程的可靠性。