[论文解读] Meta-in-context learning in large language models

Julian Coda-Forno, Marcel Binz+4 more|arXiv (Cornell University)|May 22, 2023

Machine Learning and Data Classification被引用 6

一句话总结

本文提出元上下文学习（meta-in-context learning），即大型语言模型（LLMs）通过从多个先前任务中学习，无需参数更新，递归地提升其上下文学习能力。该方法重塑了模型先验和学习策略，在真实世界回归基准上实现了具有竞争力的性能，表明LLMs可完全通过上下文学习适应环境。

ABSTRACT

Large language models have shown tremendous performance in a variety of tasks. In-context learning -- the ability to improve at a task after being provided with a number of demonstrations -- is seen as one of the main contributors to their success. In the present paper, we demonstrate that the in-context learning abilities of large language models can be recursively improved via in-context learning itself. We coin this phenomenon meta-in-context learning. Looking at two idealized domains, a one-dimensional regression task and a two-armed bandit task, we show that meta-in-context learning adaptively reshapes a large language model's priors over expected tasks. Furthermore, we find that meta-in-context learning modifies the in-context learning strategies of such models. Finally, we extend our approach to a benchmark of real-world regression problems where we observe competitive performance to traditional learning algorithms. Taken together, our work improves our understanding of in-context learning and paves the way toward adapting large language models to the environment they are applied purely through meta-in-context learning rather than traditional finetuning.

研究动机与目标

• 探究大型语言模型是否能通过自身上下文学习（无需参数更新）来提升其上下文学习能力。
• 理解元上下文学习在人工和真实世界学习领域中如何改变模型先验和学习策略。
• 与传统学习算法相比，评估元上下文学习在真实世界回归问题基准上的有效性。
• 探索元上下文学习最有效的条件，特别是任务相似性和序列长度的影响。

提出的方法

• 在单个上下文中向LLMs呈现多个学习任务（如回归和两臂赌博机任务）的序列，以实现元上下文学习。
• 使用径向基函数核计算当前任务与先前观察任务之间的任务相似性，以分析其对性能的影响。
• 在包含42个数据集、每个数据集50次模拟的真实世界回归基准上训练和评估模型，测量均方根误差（RMSE）和预测范围准确性。
• 通过分析任务序列中先验期望和上下文学习策略的变化，研究模型行为。
• 将GPT-3和GPT-4在相同任务上的表现进行比较，以评估元上下文学习的模型无关效应。
• 应用线性回归量化试验次数和任务相似性对RMSE的影响，识别元上下文学习的关键驱动因素。

实验结果

研究问题

• RQ1 大型语言模型是否能在不进行任何参数更新的情况下，通过暴露于先前学习任务的序列中，提升其上下文学习性能？
• RQ2 元上下文学习如何影响模型在人工领域中对潜在任务分布的先验信念？
• RQ3 元上下文学习是否改变了LLMs在上下文学习过程中采用的学习策略？
• RQ4 当前任务与先前见过任务之间的任务相似性在多大程度上影响元上下文学习的有效性？
• RQ5 元上下文学习是否能在真实世界回归基准上生成与传统机器学习方法相媲美的学习算法？

主要发现

• 元上下文学习在多个任务上显著提升了上下文学习性能，试验次数对RMSE有强烈负向影响（β = -0.089，p < 0.001）。
• 任务相似性对RMSE有显著负向影响（β = -0.147，p < 0.001），表明与先前任务的相似性越高，元上下文学习的有效性越强。
• 元上下文学习自适应地重塑了模型对潜在变量的先验，使其在人工领域中与环境的真实统计特性高度一致。
• 该方法改变了LLM的上下文学习策略，展现出超越静态提示工程的动态适应能力。
• 在真实世界回归基准上，元上下文学习使GPT-3实现了具有竞争力的性能，且预测结果被限制在合理的取值范围内。
• GPT-4复现了元上下文学习效应，但在同一基准上表现略逊于GPT-3，表明元学习能力存在模型特异性差异。