[論文レビュー] Discrete Diffusion Models Exploit Asymmetry to Solve Lookahead Planning Tasks

Itamar Trainin, Shauli Ravfogel+2 more|arXiv (Cornell University)|Feb 23, 2026

AI-based Problem Solving and Planning被引用数 0

ひとこと要約

本論文は Star-Path の lookahead planning タスクにおける自己回帰 (AR) と非自己回帰 (NAR) の Discrete Diffusion Language Models を比較し、AR は十分なデータと勾配対応トレーニングを通じて解ける一方、NAR は自然に反転デコード戦略を採用し、サンプル効率を指数関数的に向上させる、という結論を示す。

ABSTRACT

While Autoregressive (AR) Transformer-based Generative Language Models are frequently employed for lookahead tasks, recent research suggests a potential discrepancy in their ability to perform planning tasks that require multi-step lookahead. In this work, we investigate the distinct emergent mechanisms that arise when training AR versus Non-Autoregressive (NAR) models, such as Discrete Diffusion Models (dLLMs), on lookahead tasks. By requiring the models to plan ahead to reach the correct conclusion, we analyze how these two paradigms fundamentally differ in their approach to the problem. We identify a critical asymmetry in planning problems: while forward generation requires complex lookahead at branching junctions, reverse generation is often deterministic. This asymmetry creates an opportunity for NAR models. Through mechanistic analysis of training and inference dynamics, we demonstrate that NAR models learn to solve planning tasks by utilizing future tokens to decode backwards, avoiding the need to learn complex traversal mechanisms entirely. Consequently, we report that both AR and NAR models are able to achieve perfect accuracy on the lookahead task. However, NAR models require exponentially fewer training examples and shallower architectures compared to AR models, which often fail to converge without specific curriculum adjustments.

研究の動機と目的

• AR および NAR モデルが lookahead 要件の下で計画を学習する方法を調査する。
• Discrete Diffusion Language Models (dLLMs) が lookahead タスクを解けるかを検証する。
• AR 対 NAR において計画機能を有効にする/盗用するトレーニング信号を分離する。
• 前方計画と後方計画の非対称性が学習ダイナミクスにどのように影響するかを特徴付ける。
• 異なる planning メカニズムを理解するために内部表現を分析する。

提案手法

• AR と NAR の両方のセットアップに対して共通のトランスフォーマー基盤（GPT-2 風）を用い、NAR には dLLMs を適用する。
• Star-Path データをグラフ記述、ソース–ターゲット、パストークンを組み合わせたシーケンスとして表現する。
• AR を標準の next-token 目的で訓練し、NAR は離散拡散ベースのデノイジングで訓練する。
• 条件付きトレーニング（前方勾配を無効化）と全シーケンス訓練（前方を勾配に含む）の二つのトレーニング regime を比較する。
• held-out Star-Path テストセットに対する正確一致指標でグラフ構成を横断して収束を評価する。
• デコードダイナミクスと潜在表現を分析し、前方計画と後方計画の機構を対比する。

Figure 1 : Depiction of a lookahead Star-Graph with 3 arms and 3 vertices in each arm, and a visualization of its tokenized sequence format for Original lookahead task, $1^{st}-Order$ task where the path is decoded in reverse, $\ell^{th}-Order$ task where only the first and second vertices are predi

実験結果

リサーチクエスチョン

• RQ1 AR トランスフォーマーは十分なデータとグラフ supervision によって Star-Path lookahead タスクを学習できるか？
• RQ2 NAR モデル（dLLMs）は反転デコードを活用して、少ない例で lookahead タスクを解けるか？
• RQ3 lookahead 戦略と学習ダイナミクスの観点で AR と NAR にどのような機構的差異が出現するか？
• RQ4 計画タスクを解くとき、AR と NAR の内部表現はどのように異なるか？
• RQ5 タスクのバリエーション（1次・ell 次の lookahead）によって AR と NAR の相対的利点はどう変化するか？

主な発見

• 十分なデータと適切な学習信号があれば、AR と NAR の両方のモデルが lookahead タスクで完全な正解を達成できる。
• NAR モデルは指数関数的に速く収束し、AR モデルよりはるかに少ない訓練例で済む。
• AR モデルは ell 次の lookahead の習得により学習ボトルネックに直面する一方、NAR モデルは反転デコード、1次近傍戦略を採用する。
• AR と NAR は異なる潜在表現を示す：AR は深さのようなグラフ構造を維持するのに対し、NAR は双方向文脈を示し、局所的で結節なしのデコードを可能にする。
• グラフの複雑さを高めるとサンプル効率の差が拡大し、NAR に有利になる。タスクのバリエーションは NAR の利点が高次依存を回避することに起因することを示す。

Figure 2 : Comparison of AR models trained with (orange) and without (pink) gradients on the graph prefix across graph settings. All models were trained on up-to 50M distinct training examples.