[논문 리뷰] Discrete Diffusion Models Exploit Asymmetry to Solve Lookahead Planning Tasks

Itamar Trainin, Shauli Ravfogel외 2명|arXiv (Cornell University)|2026. 02. 23.

AI-based Problem Solving and Planning인용 수 0

한 줄 요약

논문은 autoregressive (AR)와 non-autoregressive (NAR) Discrete Diffusion Language Models를 Star-Path lookahead planning 과제에서 비교하고, 충분한 데이터와 gradient 사용이 가능한 학습이 있으면 AR이 해결할 수 있음을 보이며, 반면 NAR은 자연스럽게 역-디코딩 전략을 채택하여 샘플 효율성을 기하급수적으로 높이다.

ABSTRACT

While Autoregressive (AR) Transformer-based Generative Language Models are frequently employed for lookahead tasks, recent research suggests a potential discrepancy in their ability to perform planning tasks that require multi-step lookahead. In this work, we investigate the distinct emergent mechanisms that arise when training AR versus Non-Autoregressive (NAR) models, such as Discrete Diffusion Models (dLLMs), on lookahead tasks. By requiring the models to plan ahead to reach the correct conclusion, we analyze how these two paradigms fundamentally differ in their approach to the problem. We identify a critical asymmetry in planning problems: while forward generation requires complex lookahead at branching junctions, reverse generation is often deterministic. This asymmetry creates an opportunity for NAR models. Through mechanistic analysis of training and inference dynamics, we demonstrate that NAR models learn to solve planning tasks by utilizing future tokens to decode backwards, avoiding the need to learn complex traversal mechanisms entirely. Consequently, we report that both AR and NAR models are able to achieve perfect accuracy on the lookahead task. However, NAR models require exponentially fewer training examples and shallower architectures compared to AR models, which often fail to converge without specific curriculum adjustments.

연구 동기 및 목표

• AR 및 NAR 모델이 lookahead 요구사항 하에서 어떻게 학습하는지 조사한다.
• Discrete Diffusion Language Models (dLLMs)가 lookahead 태스크를 해결할 수 있는지 조사한다.
• AR 대 NAR에서 학습 신호를 분리하여 계획 능력을 가능하게/훔쳐내는 신호를 식별한다.
• 전진 계획과 역방향 계획 간의 비대칭성이 학습 역학에 어떤 영향을 미치는지Characterize 한다.
• 다른 계획 메커니즘을 이해하기 위해 내부 표현을 분석한다.

제안 방법

• 두 모델 모두에 대해 GPT-2와 유사한 공유 트랜스포머 백본을 AR 및 NAR 설정에 사용하고 NAR은 dLLMs를 사용한다.
• Star-Path 데이터를 그래프 설명, 출발지–목적지, 경로 토큰을 결합한 시퀀스로 표현한다.
• AR은 표준 next-token 목표로 학습하고 NAR은 이산 확산 기반 디노이징으로 학습한다.
• 조건부 학습(프리픽스 그래디언트 비활성화)과 전체 시퀀스 학습(프리픽스도 그래디언트에 포함) 두 가지 학습 체계를 비교한다.
• 그래프 구성에 걸친 보류된 Star-Path 테스트 세트에서 exact-match 지표로 수렴성을 평가한다.
• 디코딩 역학과 잠재 표현을 분석하여 전진 계획 메커니즘과 역방향 계획 메커니즘을 대조한다.

Figure 1 : Depiction of a lookahead Star-Graph with 3 arms and 3 vertices in each arm, and a visualization of its tokenized sequence format for Original lookahead task, $1^{st}-Order$ task where the path is decoded in reverse, $\ell^{th}-Order$ task where only the first and second vertices are predi

실험 결과

연구 질문

• RQ1 AR 트랜스포머가 충분한 데이터와 그래프 감독으로 Star-Path lookahead 태스크를 학습할 수 있는가?
• RQ2 NAR 모델(dLLMs)이 역-디코딩을 활용하여 더 적은 예제로 lookahead 태스크를 해결할 수 있는가?
• RQ3 lookahead 전략 및 학습 역학 측면에서 AR과 NAR 사이에 어떤 메커니즘적 차이가 나타나는가?
• RQ4 태스크를 해결할 때 AR와 NAR의 내부 표현은 어떻게 다르게 나타나는가?
• RQ5 태스크 변형(1st-order 대비 ell-th-order lookahead)이 AR과 NAR의 상대적 이점에 어떤 영향을 주는가?

주요 결과

• 충분한 데이터와 적절한 학습 신호가 주어지면 AR과 NAR 모델 모두 lookahead 태스크에서 완전한 정확도에 도달할 수 있다.
• NAR 모델은 기하급수적으로 더 빠르게 수렴하고 AR 모델보다 훨씬 적은 학습 예제가 필요하다.
• AR 모델은 ell-th order lookahead를 마스터하는 데 학습 병목 현상을 겪는 반면, NAR 모델은 역-디코딩, 1st-order 이웃 전략을 채택한다.
• AR과 NAR은 서로 다른 잠재 표현을 보인다: AR은 깊이 있는 그래프 구조를 유지하고, NAR은 국부적이고 교차점 없는 디코딩을 가능하게 하는 양방향 컨텍스트를 보인다.
• 그래프 복잡도가 증가하면 NAR의 샘플-효율성 격차가 커지며, 태스크 변형에서 NAR의 이점은 높은 차수 의존성을 우회하는 데서 비롯된다.

Figure 2 : Comparison of AR models trained with (orange) and without (pink) gradients on the graph prefix across graph settings. All models were trained on up-to 50M distinct training examples.