[논문 리뷰] Language Models Struggle to Use Representations Learned In-Context

Michael A. Lepori, Tal Linzen외 2명|arXiv (Cornell University)|2026. 02. 04.

Artificial Intelligence in Healthcare and Education인용 수 0

한 줄 요약

논문은 오픈-웨이트 LMs가 맥락 내 표현을 다음 토큰 예측이나 적응형 세계 모델링으로 효과적으로 활용하는 데 크게 실패하는 반면, 프런티어 추론 모델은 제한된 설정에서 다소 더 나은 성능을 보인다는 점을 보여준다.

ABSTRACT

Though large language models (LLMs) have enabled great success across a wide variety of tasks, they still appear to fall short of one of the loftier goals of artificial intelligence research: creating an artificial system that can adapt its behavior to radically new contexts upon deployment. One important step towards this goal is to create systems that can induce rich representations of data that are seen in-context, and then flexibly deploy these representations to accomplish goals. Recently, Park et al. (2024) demonstrated that current LLMs are indeed capable of inducing such representation from context (i.e., in-context representation learning). The present study investigates whether LLMs can use these representations to complete simple downstream tasks. We first assess whether open-weights LLMs can use in-context representations for next-token prediction, and then probe models using a novel task, adaptive world modeling. In both tasks, we find evidence that open-weights LLMs struggle to deploy representations of novel semantics that are defined in-context, even if they encode these semantics in their latent representations. Furthermore, we assess closed-source, state-of-the-art reasoning models on the adaptive world modeling task, demonstrating that even the most performant LLMs cannot reliably leverage novel patterns presented in-context. Overall, this work seeks to inspire novel methods for encouraging models to not only encode information presented in-context, but to do so in a manner that supports flexible deployment of this information.

연구 동기 및 목표

• 새로운 의미의 풍부한 맥락 내 표현을 LMs가 유도할 수 있는지 조사한다.
• 이 맥락 내 표현을 다음 토큰 예측과 같은 다운스트림 작업에 유연하게 활용할 수 있는지 평가한다.
• 맥락 내 의미의 배포 가능성을 조사하기 위해 새로운 과제인 적응형 세계 모델링(AWM)을 도입하고 평가한다.
• 배포 측면에서 맥락 내 표현의 배치를 위해 오픈-웨이트 LMs와 프런티어 추론 모델을 비교한다.

제안 방법

• 2D 격자 및 1D 선에서 16/25 상태를 갖는 그래프 추적(task) 기반의 맥락 내 표현 학습을 재현한다.
• 토큰 표현의 토폴로지 정렬을 Dirichlet Energy(DE)와 Distance Correlation(DC)을 통해 측정한다.
• 다음 토큰 예측을 두 가지 조건에서 테스트한다: Instruction(지연 사용) 대 Prefilled(즉시 사용).
• 적응형 세계 모델링(AWM)을 도입한다: 그래프 추적과 상태를 새 상태에 매핑하는 소수의 규칙을 결합한다.
• AWM 동안 맥락 내 표현이 비활성 상태로 남는지, 그리고 명시적 토폴로지가 일부 모델에 도움이 되는지 분석한다.

Figure 1: (Top Left) Example of an N-by-N state space topology used to generate a random walk. (Right) Examples of next token prediction prompts in the Instruction or Prefilled condition. Prompt formatting tokens are not bolded for readability. In the Instruction condition, models need to deploy in-

실험 결과

연구 질문

• RQ1 사용자로부터의 지연 사용이 요구될 때 오픈-웨이트 LMs가 맥락 내 학습된 표현을 다음 토큰 예측에 배포할 수 있는가?
• RQ2 맥락 내 표현이 Adaptive World Modeling 과제에 충분히 작동하는가?
• RQ3 프런티어 추론 모델이 오픈-웨이트 모델보다 맥락 내 의미를 더 효과적으로 활용하는가, 그리고 어떤 조건에서인가?
• RQ4 프롬프트에서 토폴로지를 명시적으로 제시하는 것이 AWM의 few-shot 규칙 학습에 어떤 영향을 주는가?

주요 결과

• Instruction 조건에서 무작위 보행이 사용자 프롬프트에 포함될 때, 오픈-웨이트 LMs는 맥락 내 표현을 다음 토큰 예측에 활용하는 데 어려움을 겪는다.
• 다양한 구성에서도 Adaptive World Modeling을 위한 맥락 내 표현의 배포 가능성은 제한적이거나 전혀 없다.
• 일차원 토폴로지에서 일부 프런티어 추론 모델은 비주요 정확도를 달성하지만, 이차원(그리드) 토폴로지에서는 AWM에서 실패한다.
• 프롬프트에서 토폴로지를 명시적으로 설명하면 프런티어 모델이 few-shot 학습에서 천장에 가까운 성능에 도달하여 외부화된 토폴로지 정보에 의존함을 시사한다.
• 맥락 내에서 학습된 표현은 종종 비활성 상태로 남아 다운스트림 작업에 유연하게 배포되지 않으며, 잠재적 토폴로지 인코딩에도 불구하고 그렇다.
• 프롬프트에서 명시적 토폴로지 설명은 few-shot 규칙 학습을 개선할 수 있어, 표현이 용이하게 제공될 때 배포 가능성이 있음을 시사한다.

Figure 2: Example of in-context representation learning over a 5-by-5 grid topology.