[论文解读] Language Models Struggle to Use Representations Learned In-Context

Michael A. Lepori, Tal Linzen+2 more|arXiv (Cornell University)|Feb 4, 2026

Artificial Intelligence in Healthcare and Education被引用 0

一句话总结

论文表明开放权重的语言模型在将上下文表示用于下一个标记预测或自适应世界建模方面基本失效，尽管前沿推理模型在有限设置中表现略有改善。

ABSTRACT

Though large language models (LLMs) have enabled great success across a wide variety of tasks, they still appear to fall short of one of the loftier goals of artificial intelligence research: creating an artificial system that can adapt its behavior to radically new contexts upon deployment. One important step towards this goal is to create systems that can induce rich representations of data that are seen in-context, and then flexibly deploy these representations to accomplish goals. Recently, Park et al. (2024) demonstrated that current LLMs are indeed capable of inducing such representation from context (i.e., in-context representation learning). The present study investigates whether LLMs can use these representations to complete simple downstream tasks. We first assess whether open-weights LLMs can use in-context representations for next-token prediction, and then probe models using a novel task, adaptive world modeling. In both tasks, we find evidence that open-weights LLMs struggle to deploy representations of novel semantics that are defined in-context, even if they encode these semantics in their latent representations. Furthermore, we assess closed-source, state-of-the-art reasoning models on the adaptive world modeling task, demonstrating that even the most performant LLMs cannot reliably leverage novel patterns presented in-context. Overall, this work seeks to inspire novel methods for encouraging models to not only encode information presented in-context, but to do so in a manner that supports flexible deployment of this information.

研究动机与目标

• 研究 LM 是否能够诱导对新语义的丰富上下文表示。
• 评估这些上下文表示是否能够灵活用于下游任务，如下一个标记预测。
• 引入并评估一个新任务，自适应世界建模（AWM），以探测上下文语义的可部署性。
• 在部署上下文表示方面，将开放权重的 LM 与前沿推理模型进行比较。

提出的方法

• 在二维网格和一维线段上，用 16/25 状态的图跟踪任务复现上下文表示学习。
• 通过 Dirichlet Energy (DE) 和 Distance Correlation (DC) 测量标记表示的拓扑对齐。
• 在两种条件下测试下一个标记预测：指令条件（延迟使用）与预填充（即时使用）。
• 引入自适应世界建模（AWM）：将图跟踪与少量规则映射状态到新状态相结合。
• 分析在 AWM 中上下文表示是否保持惰性，以及显式拓扑结构是否对某些模型有帮助。

Figure 1: (Top Left) Example of an N-by-N state space topology used to generate a random walk. (Right) Examples of next token prediction prompts in the Instruction or Prefilled condition. Prompt formatting tokens are not bolded for readability. In the Instruction condition, models need to deploy in-

实验结果

研究问题

• RQ1 当需要延迟使用时，开放权重的 LMs 是否能够部署上下文学习到的表示用于下一个标记预测？
• RQ2 上下文表示是否足以支持自适应世界建模任务？
• RQ3 前沿推理模型是否比开放权重模型更有效地利用上下文语义，在什么条件下？
• RQ4 在提示中显式呈现拓扑结构如何影响在 AWM 中的少量学习规则学习？

主要发现

• 当随机游走出现在用户提示中（指令条件）时，开放权重的 LMs 难以使用上下文表示进行下一个标记预测。
• 在各种配置下，开放权重的 LMs 对自适应世界建模的上下文表示部署能力有限甚至为零。
• 一些前沿推理模型在一维拓扑上达到非平庸的准确率，但在二维网格拓扑的 AWM 中失败。
• 当提示中明确描述拓扑时，前沿模型在少量学习上达到天花板表现，显示其对外部化拓扑信息的依赖。
• 在上下文中学习的表示往往惰性，无法灵活部署到下游任务，即使存在潜在的拓扑编码。
• 提示中的显式拓扑描述可以提升少量学习中的规则学习，表明在可直接获取拓扑信息时，表示可能具有可部署性。

Figure 2: Example of in-context representation learning over a 5-by-5 grid topology.