[论文解读] In-context learning agents are asymmetric belief updaters

Johannes A. Schubert, Akshay K. Jagadish+2 more|arXiv (Cornell University)|Feb 6, 2024

Data Stream Mining Techniques被引用 4

一句话总结

该论文表明，大型语言模型（LLMs）在上下文学习中表现出非对称信念更新，即当涉及代理权时，模型从优于预期的结果（正向预测误差）中学习得更多，而非从低于预期的结果（负向预测误差）中学习——尤其在隐含代理权的情境下。当对未选择选项提供反事实反馈时，这种乐观偏差会反转，而在无代理权的情境下则完全消失，这一现象与人类认知模式一致，并且在为最优学习而训练的元强化学习智能体中亦可观察到，表明这种非对称性在特定任务框架下可能是理性的。

ABSTRACT

We study the in-context learning dynamics of large language models (LLMs) using three instrumental learning tasks adapted from cognitive psychology. We find that LLMs update their beliefs in an asymmetric manner and learn more from better-than-expected outcomes than from worse-than-expected ones. Furthermore, we show that this effect reverses when learning about counterfactual feedback and disappears when no agency is implied. We corroborate these findings by investigating idealized in-context learning agents derived through meta-reinforcement learning, where we observe similar patterns. Taken together, our results contribute to our understanding of how in-context learning works by highlighting that the framing of a problem significantly influences how learning occurs, a phenomenon also observed in human cognition.

研究动机与目标

• 研究LLMs在上下文学习中的动态机制与人类在受控强化学习任务中的认知过程之间的异同。
• 通过在不同问题框架下测试，判断LLMs中非对称信念更新是理性策略还是认知偏差。
• 评估通过元强化学习（Meta-RL）导出的理想化上下文学习智能体是否复现了LLMs与人类中观察到的相同非对称学习模式。
• 评估代理权与反事实反馈在塑造人工与人类智能体学习非对称性中的作用。
• 探讨这些发现对现实世界应用中设计高效上下文学习提示的启示。

提出的方法

• 改编认知心理学中的两择一强制选择（2AFC）任务，用于研究LLMs、人类及元强化学习（Meta-RL）智能体的上下文学习动态。
• 将Rescorla-Wagner模型的变体拟合至行为数据，以估计学习率并推断信念更新规则。
• 使用ADAM优化的演员-评论家强化学习方法，在2AFC任务上训练基于Transformer的Meta-RL智能体，使其在收敛后实现贝叶斯最优的上下文学习。
• 在三种条件下比较学习动态：部分反馈（仅提供所选选项信息）、完整反馈（提供两个选项信息）和强制选择（无代理权）。
• 通过计算建模提取并比较学习率参数，重点关注正负预测误差之间的非对称性。
• 在训练后不对所有智能体进行进一步权重更新，以隔离其上下文学习行为。

Figure 1: Schematic of our methodology, where we evaluate the learning dynamics of LLMs, humans, and meta-reinforcement learning (Meta-RL) agents on two-alternative forced choice tasks. After evaluating the agents on the tasks, we fit variants of cognitive models based on the Rescorla-Wagner (RW) mo

实验结果

研究问题

• RQ1 LLMs在上下文学习中是否表现出非对称信念更新，即更倾向于正向预测误差而非负向预测误差？
• RQ2 任务框架中是否存在代理权，如何影响LLMs中的学习非对称性？
• RQ3 当提供关于未选择选项（反事实）的反馈时，学习模式是否会反转？
• RQ4 为最优学习而训练的理想化Meta-RL智能体是否复现了LLMs与人类中观察到的相同非对称学习模式？
• RQ5 如Meta-RL智能体行为所示，这种非对称信念更新在所研究的任务条件下是否具有理性基础？

主要发现

• 当隐含代理权时，LLMs在上下文学习中表现出乐观偏差，即从优于预期的结果（正向预测误差）中学习得比从低于预期的结果（负向预测误差）更多。
• 当提供关于未选择选项的反馈时，学习非对称性发生反转：LLMs对这些选项的负向预测误差学习得比正向预测误差更多。
• 在强制选择试验中，当不隐含代理权时，乐观偏差完全消失，表明选择与控制的框架在非对称更新的产生中起着关键作用。
• 为贝叶斯最优学习而训练的Meta-RL智能体复现了LLMs与人类中观察到的相同非对称学习模式，证实此类行为在任务结构下可以是理性的。
• 观察到的学习非对称性并非模型架构的产物，而是由问题框架驱动，特别是代理权与反事实反馈，表明设计选择显著影响学习结果。
• 这些发现表明，人类与LLMs中的乐观偏差可能并非认知缺陷，而是对特定任务结构的理性响应，尤其是在仅观察到所选结果的情境下。

Figure 2: 2AFC task with partial feedback. (a) Presentation of a single trial. First, two slot machines, shown as symbols, are presented. After a choice is made, the outcome is shown. (b) Average performance of the LLM and humans measured in terms of regret. Performance improves over trials. (c) Mod