[논문 리뷰] Energy-Entropy Regularization: The True Power of Minimal Looped Transformers

Wai-Lun Lam|arXiv (Cornell University)|2026. 01. 14.

Generative Adversarial Networks and Image Synthesis인용 수 0

한 줄 요약

이 논문은 에너지-엔트로피 정규화를 도입하여 최소한의 단일 헤드 루프형 트랜스포머(d=8)를 이용해 장기 추론 작업을 수행하도록 하며, Tsallis 엔트로피와 해밀토니안 역학을 활용해 손실 지형을 재구성하고 신뢰할 수한 수렴을 가능하게 한다.

ABSTRACT

Recent research suggests that looped Transformers have superior reasoning capabilities compared to standard deep architectures. Current approaches to training single-head looped architectures on benchmark tasks frequently fail or yield suboptimal performance due to a highly non-convex and irregular loss landscape. In these settings, optimization often stagnates in poor local minima and saddle points of the loss landscape, preventing the model from discovering the global minimum point. The internal mechanisms of these single-head looped transformer models remain poorly understood, and training them from scratch remains a significant challenge. In this paper, we propose a novel training framework that leverages Tsallis entropy and Hamiltonian dynamics to transform the geometry of the loss landscape. By treating the parameter updates as a physical flow, we successfully trained a single-head looped Transformer with model dimension $d = 8$ to solve induction head task with input sequence length of 1000 tokens. This success reveals the internal mechanism behind the superior reasoning capability.

연구 동기 및 목표

• 단일 헤드 루프형 트랜스포머의 비볼록한 손실 지형으로 인해 학습이 왜 어려운지에 대한 동기를 제시한다.
• Tsallis 엔트로피를 사용한 엔트로피 축소 프레임워크를 개발하여 학습을 안정화한다.
• 잠재 공간을 전역 최솟값으로 인도하는 해밀토니안 잠재 역학 관점을 도입한다.
• 신뢰할 수한 수렴을 유도하는 깔때기 모양의 손실 지형을 만드는 에너지-엔트로피 정규화 손실을 제안한다.
• 최소 모델(d=8)로 1000 토큰까지의 시퀀스에서 긴 범위의 추론 능력을 입증한다.

제안 방법

• attn 지도에 Tsallis 엔트로피를 적용하여 자기 주의 역학에 수축적(regime)을 얻는다.
• 잠재 상태의 진화를 위치 Z와 속도 V를 갖는 이산 해밀토니안 시스템으로 모델링한다.
• 에너지 기반 주의 연산자 F_τ와 주의 에너지 E_τ를 정의하여 궤적을 안내한다.
• 손실에 세 가지 커플링된 정규화항(Kinetic, Potential, Entropy)을 도입하여 해밀토니안- Tsallis 손실을 형성한다.
• 잠재 상태의 탐색에서 결정적으로 결정화로의 단계 변화를 보이는 위상 전이 기반의 최적화 경로를 제시한다.
• 시퀀스 길이가 최대 1000인 추론 헤드 작업에서 길이 일반화를 평가하고 FOP-Looped-Adaptive와 비교한다.

실험 결과

연구 질문

• RQ1 Tsallis 엔트로피 기반 수축이 단일 헤드 루프형 트랜스포머의 안정적인 고정점 수렴을 보장하는가?
• RQ2 에너지-엔트로피 정규화가 손실 지형을 글로벌 최적화를 촉진하는 깔때기 형태로 재구성하는가?
• RQ3 최소한의 단일 헤드 루프형 트랜스포머가 긴 범위의 추론 작업(최대 1000 토큰)을 해결할 수 있는가?
• RQ4 제안된 에너지-엔트로피 프레임워크에서 길이 일반화는 어떻게 동작하는가?

주요 결과

모델	잠재 차원 (d)	어텐션 헤드 (h)	위치 인코딩	재귀 깊이 (T)	학습 스텝	학습률	가중치 감소	배치 크기	학습 범위 (L)	손실 목표
FOP-Looped-Adaptive	64	4	0.15× Sinusoidal	25	100k	1e-4	0.05	64	16–64	Cross-Entropy (CE)
EER (Ours)	8	1	0.15× Sinusoidal	25	20k	1e-3	0.10	32	16–64	L_Task + L_Kinetic + L_Potential + L_Entropy

• EER 프레임워크는 d=8인 단일 헤드 루프형 트랜스포머를 학습시켜 1000 토큰까지의 시퀀스에서 추론 헤드 작업을 해결한다.
• EER은 FOP-Looped-Adaptive 기준선에 비해 파라미터 수가 훨씬 적은 상태에서 길이 일반화(L=1000)를 달성한다(<0.02%의 파라미터 수로 보고됨).
• 에포크 500 근처에서 뚜렷한 위상 전이가 관찰되며 Acc L1000이 33.5%에서 79.2%로 점프한다.
• 중간 단계에서 정확도가 정체되기도 하고(예: L=100에서 96.7%), 안정화되기 전에는 운동에너지가 주도하는 탐색에서 에너지가 지배하는 결정화로의 전환을 보인다.
• 이 방법은 운동 에너지, 퍼텐셜 에너지, 엔트로피 정규화를 결합하여 손실 지형을 깔때기 모양으로 변형시키고 최적화 노이즈를 줄이며 신뢰할 수한 수렴을 가능하게 한다.