[論文レビュー] Language Models Struggle to Use Representations Learned In-Context

Michael A. Lepori, Tal Linzen+2 more|arXiv (Cornell University)|Feb 4, 2026

Artificial Intelligence in Healthcare and Education被引用数 0

ひとこと要約

要約: 本論文は、オープンウェイトのLMが大半の場合、文脈内表現を次トークン予測や適応世界モデル化へ展開することに失敗する一方、フロンティア推論モデルは限定的な設定でやや良好に機能することを示している。

ABSTRACT

Though large language models (LLMs) have enabled great success across a wide variety of tasks, they still appear to fall short of one of the loftier goals of artificial intelligence research: creating an artificial system that can adapt its behavior to radically new contexts upon deployment. One important step towards this goal is to create systems that can induce rich representations of data that are seen in-context, and then flexibly deploy these representations to accomplish goals. Recently, Park et al. (2024) demonstrated that current LLMs are indeed capable of inducing such representation from context (i.e., in-context representation learning). The present study investigates whether LLMs can use these representations to complete simple downstream tasks. We first assess whether open-weights LLMs can use in-context representations for next-token prediction, and then probe models using a novel task, adaptive world modeling. In both tasks, we find evidence that open-weights LLMs struggle to deploy representations of novel semantics that are defined in-context, even if they encode these semantics in their latent representations. Furthermore, we assess closed-source, state-of-the-art reasoning models on the adaptive world modeling task, demonstrating that even the most performant LLMs cannot reliably leverage novel patterns presented in-context. Overall, this work seeks to inspire novel methods for encouraging models to not only encode information presented in-context, but to do so in a manner that supports flexible deployment of this information.

研究の動機と目的

• LMがNovel semanticsの豊かな文脈内表現を誘導できるか調査する。
• これらの文脈内表現を次トークン予測のようなdownstreamタスクへ柔軟に展開できるか評価する。
• 文脈内セマンティクスのデプロイ性を probe する新タスク adaptive world modeling (AWM) を導入・評価する。
• open-weight LMとフロンティア推論モデルを、文脈内表現のデプロイに関して比較する。

提案手法

• 2Dグリッドおよび1Dライン上のグラフ追跡タスクを用いて、16/25状態で文脈内表現学習を再現する。
• トークン表現の位相整合をDirichlet Energy (DE)とDistance Correlation (DC)で測定する。
• 2条件で次トークン予測を試す：Instruction（遅延使用） vs Prefilled（即時使用）。
• adaptive world modeling (AWM)を導入：グラフ追跡と状態を新しい状態へ写像する few-shot ルールを組み合わせる。
• AWM中に文脈内表現が不活性のままか、明示的な位相情報がいくつかのモデルを助けるかを分析する。

Figure 1: (Top Left) Example of an N-by-N state space topology used to generate a random walk. (Right) Examples of next token prediction prompts in the Instruction or Prefilled condition. Prompt formatting tokens are not bolded for readability. In the Instruction condition, models need to deploy in-

実験結果

リサーチクエスチョン

• RQ1 オープンウェイトLMは、使用を遅らせる必要がある場合に文脈内学習表現を次トークン予測へ展開できるか。
• RQ2 文脈内表現はAdaptive World Modelingタスクを支えるのに十分か。
• RQ3 フロンティア推論モデルは、オープンウェイトモデルより文脈内セマンティクスを有効に活用できるか、どの条件下で？
• RQ4 prompts で位相を明示的に提示することは、AWMにおけるfew-shotルール学習に影響を与えるか。

主な発見

• Instruction条件でユーザープロンプト内のランダムウォークがある場合、オープンウェイトLMは次トークン予測のために文脈内表現を活用するのが困難である。
• AWM全設定において、オープンウェイトLMは文脈内表現のデプロイ性が限定的または全くない。
• 一部のフロンティア推論モデルは一次元の位相では非自明な精度を達成するが、二次元グリッド位相のAWMでは失敗。
• 位相をプロンプトで明示的に説明すると、フロンティアモデルはfew-shot学習で天井に達し、外部化された位相情報に依存していることを示唆する。
• 文脁内で学習された表現はしばしば不活性で、潜在的な位相符号化があってもdownstreamタスクへ柔軟に展開できない。
• プロンプトでの明示的な位相説明はfew-shotルール学習を改善でき、 readily available な位相情報があれば表現はデプロイ可能である可能性を示唆する。

Figure 2: Example of in-context representation learning over a 5-by-5 grid topology.