[논문 리뷰] From Kepler to Newton: Inductive Biases Guide Learned World Models in Transformers

Ziming Liu, Sophia Sanborn외 2명|arXiv (Cornell University)|2026. 02. 06.

Machine Learning in Materials Science인용 수 0

한 줄 요약

이 논문은 세 가지 간단한 귀납 편향(공간적 매끄러움, 공간적 안정성, 그리고 시간적 국소성)이 트랜스포머가 실제 물리 세계 모델을 학습하게 한다고 보여주며, 맥락 길이에 따라 뉴턴의 힘이나 케플러 궤도 표현을 드러낸다.

ABSTRACT

Can general-purpose AI architectures go beyond prediction to discover the physical laws governing the universe? True intelligence relies on "world models" -- causal abstractions that allow an agent to not only predict future states but understand the underlying governing dynamics. While previous "AI Physicist" approaches have successfully recovered such laws, they typically rely on strong, domain-specific priors that effectively "bake in" the physics. Conversely, Vafa et al. recently showed that generic Transformers fail to acquire these world models, achieving high predictive accuracy without capturing the underlying physical laws. We bridge this gap by systematically introducing three minimal inductive biases. We show that ensuring spatial smoothness (by formulating prediction as continuous regression) and stability (by training with noisy contexts to mitigate error accumulation) enables generic Transformers to surpass prior failures and learn a coherent Keplerian world model, successfully fitting ellipses to planetary trajectories. However, true physical insight requires a third bias: temporal locality. By restricting the attention window to the immediate past -- imposing the simple assumption that future states depend only on the local state rather than a complex history -- we force the model to abandon curve-fitting and discover Newtonian force representations. Our results demonstrate that simple architectural choices determine whether an AI becomes a curve-fitter or a physicist, marking a critical step toward automated scientific discovery.

연구 동기 및 목표

• 예측을 넘어 기초 모델에서 내부 세계 모델 탐색을 동기를 부여한다.
• 데이터로 물리 법칙 학습을 가능하게 하는 최소한의 귀납 편향을 식별한다.
• 연속 역학에 대한 회귀와 분류 형식화를 체계적으로 대비한다.
• 맥락 길이가 뉴턴적 대 케플러적 세계 모델의 등장을 어떻게 제어하는지 시연한다.
• AI 과학자들의 기계적 이해와 분포외 일반화에 대한 지침을 제공한다.

제안 방법

• 세 가지 귀납 편향을 식별한다: 공간적 매끄러움, 공간적 안정성, 그리고 시간적 국소성.
• 케플러 유사 데이터와 제어된 케플러 데이터 세트에서 토큰화 기반 분류와 연속 회귀를 비교한다.
• 선형 프로브를 사용해 내부 표현이 공간 좌표나 힘 관련 양을 인코딩하는지 테스트한다.
• 어휘 크기, 학습 데이터, 임베딩 차원, 맥락 길이를 변화시켜 출현하는 세계 모델을 연구한다.
• 노이즈가 있는 맥락을 가진 회귀가 오차 누적을 줄이고 최적화된 하이퍼파라미터 하에서 분류보다 우수함을 보여준다.
• 짧은 맥락은 뉴턴적(힘 기반) 모델을, 긴 맥락은 케플러적(타원 기반) 모델을 낳는 상전이를 드러낸다.

Figure 1: Visual abstract. Top left: The problem setup of Vafa et al. ( 2025 ) : planetary motion prediction is formulated as next token(s) prediction. Bottom left: Inductive biases are key to learning Newtonian world models. Three inductive biases are identified and used to fix respective failure m

실험 결과

연구 질문

• RQ1 왜 트랜스포머가 행성 운동의 뉴턴적 세계 모델을 학습하지 못하는가, 그리고 이를 고칠 수 있는 최소한의 편향은 무엇인가?
• RQ2 간단한 귀납 편향이 트랜스포머에서 기계적(뉴턴적) 대 기하학적(케플러적) 세계 모델의 출현을 가능하게 할 수 있는가?
• RQ3 데이터 크기, 어휘 크기, 그리고 맥락 길이가 학습된 세계 모델과 예측 강건성에 어떤 영향을 미치는가?
• RQ4 연속 역학 학습을 위한 회귀 형식과 분류 형식의 비교 이점은 무엇인가?

주요 결과

• 세 가지 편향이 트랜스포머의 세계 모델 학습을 이끄는 데 충분하다: 공간적 매끄러움은 공간 매핑을 개선하고, 공간적 안정성은 노이즈가 있는 맥락을 통한 회귀에서 오차 누적을 완화하며, 시간적 국소성은 모델을 뉴턴적 역학으로 이동시킨다.
• 연속 좌표를 갖는 회귀는 노이즈 맥락으로 보강될 때, 데이터 규모에 관계없이 이산 분류보다 우수하며, 최적화된 하이퍼파라미터(맥락 노이즈 시그마, 어휘 크기 V)일 때 그렇다.
• 맥락 길이가 출현하는 세계 모델을 좌우한다: 짧은 맥락(2)은 뉴턴의 힘 기반 표현을, 긴 맥락은 매개변수 a, b, 및 Laplace–Runge–Runge 벡터 인코딩으로 거의 완벽하게(R^2 ≈ 0.998) 케플러 타원체를 낳는다.
• 케플러적 특징(타원 매개변수)은 맥락이 길 때 선형 예측 가능성이 높게 포착되며, a, b, A에 대해 R^2 ≈ 0.998인 반면, 뉴턴적 힘 변수는 짧은 맥락에서 선형으로 인코딩된다(R^2 ≈ 0.999).
• 매우 큰 어휘로의 토큰화는 공간 맵의 출현을 방해할 수 있으며, 어휘 크기를 줄이거나 회귀를 사용하면 유사한 계산 자원에서 공간 표현이 향상된다.

Figure 2: Analyzing the embeddings of the transformer model used in Vafa et al. ( 2025 ) . (a) Illustration of training dynamics of token embeddings: embeddings are randomly initialized (left), gradually gain spatial structure during training (middle), requiring substantial compute and data to reach