[論文レビュー] From Kepler to Newton: Inductive Biases Guide Learned World Models in Transformers

Ziming Liu, Sophia Sanborn+2 more|arXiv (Cornell University)|Feb 6, 2026

Machine Learning in Materials Science被引用数 0

ひとこと要約

論文は三つの単純な帰納バイアス（空間的平滑性、空間的安定性、時間的局所性）がトランスフォーマーに真の物理世界モデルを学習させ、文脈長に応じてニュートン力学的な力やケプラー軌道表現を明らかにすることを示している。

ABSTRACT

Can general-purpose AI architectures go beyond prediction to discover the physical laws governing the universe? True intelligence relies on "world models" -- causal abstractions that allow an agent to not only predict future states but understand the underlying governing dynamics. While previous "AI Physicist" approaches have successfully recovered such laws, they typically rely on strong, domain-specific priors that effectively "bake in" the physics. Conversely, Vafa et al. recently showed that generic Transformers fail to acquire these world models, achieving high predictive accuracy without capturing the underlying physical laws. We bridge this gap by systematically introducing three minimal inductive biases. We show that ensuring spatial smoothness (by formulating prediction as continuous regression) and stability (by training with noisy contexts to mitigate error accumulation) enables generic Transformers to surpass prior failures and learn a coherent Keplerian world model, successfully fitting ellipses to planetary trajectories. However, true physical insight requires a third bias: temporal locality. By restricting the attention window to the immediate past -- imposing the simple assumption that future states depend only on the local state rather than a complex history -- we force the model to abandon curve-fitting and discover Newtonian force representations. Our results demonstrate that simple architectural choices determine whether an AI becomes a curve-fitter or a physicist, marking a critical step toward automated scientific discovery.

研究の動機と目的

• 予測を超えた基盤モデルにおける内部世界モデルの探索を動機づける。
• データから物理法則を学ぶことを可能にする最小限の帰納バイアスを特定する。
• 連続動力学の回帰と分類の定式化を体系的に対比する。
• 文脈長がニュートン力学的とケプラー的世界モデルの出現をどのように制御するかを示す。
• AI研究者に対する機械的理解と分布外一般化への指針を提供する。

提案手法

• 空間的平滑性、空間的安定性、時間的局所性の三つの帰納バイアスを特定する。
• ケプラー様データと制御されたケプラーデータセットに対して、トークン化ベースの分類と連続回帰を比較する。
• 内部表現が空間座標もしくは力に関連する量を符号化しているかを検証するために線形プローブを用いる。
• 語彙サイズ、訓練データ、埋め込み次元、文脈長を変化させ、出現する世界モデルを研究する。
• ノイズのある文脈を伴う回帰が誤差蓄積を抑制し、ハイパーパラメータ最適化時に分類よりも上回ることを示す。
• 短い文脈でニュートン力学的（力ベース）モデル、長い文脈でケプラー的（楕円）モデルという位相遷移を露出させる。

Figure 1: Visual abstract. Top left: The problem setup of Vafa et al. ( 2025 ) : planetary motion prediction is formulated as next token(s) prediction. Bottom left: Inductive biases are key to learning Newtonian world models. Three inductive biases are identified and used to fix respective failure m

実験結果

リサーチクエスチョン

• RQ1 なぜトランスフォーマーは惑星運動のニュートン力学的世界モデルを学習できず、これを修正する最小バイアスは何か。
• RQ2 単純な帰納バイアスがトランスフォーマーにおいて機械的（ニュートン力学的）対幾何（ケプラー的）世界モデルの出現を可能にするか。
• RQ3 データ量、語彙サイズ、文脈長が学習された世界モデルと予測のロバスト性にどう影響するか。
• RQ4 連続動力学を学習する際の回帰と分類の定式化の比較利点は何か。

主な発見

• 三つのバイアスだけでトランスフォーマーの世界-model学習を導ける：空間的平滑性は空間マッピングを改善し、空間的安定性はノイズ付き文脈での回帰の誤差蓄積を抑え、時間的局所性はモデルをニュートン力学的ダイナミクスへと傾斜させる。
• 連続座標を用いた回帰、ノイズ付き文脈を追加した場合、データ規模に関係なく、最適化されたハイパーパラメータ（文脈ノイズsigma、語彙サイズV）下で離散分類を上回る。
• 文脈長が出現する世界モデルを規定する：小さな文脈（2）でニュートン力学的力ベースの表現、長い文脈でケプラー的楕円とパラメータa、b、そしてラプラス–ルンゲ–ルンゲベクトルのエンコードがほぼ完璧（R^2 ≈ 0.998）。
• ケプラー的特徴（楕円のパラメータ）は文脈が長いと高い線形予測性を持つ（a, b, AのR^2 ≈ 0.998）、一方ニュートン力学的力変数は短い文脈で線形にエンコードされる（R^2 ≈ 0.999）。
• 非常に大きな語彙を用いたトークン化は空間マップの出現を妨げる可能性があり、語彙サイズを小さくするか回帰を用いると、同等の計算資源下で空間表現が改善する。

Figure 2: Analyzing the embeddings of the transformer model used in Vafa et al. ( 2025 ) . (a) Illustration of training dynamics of token embeddings: embeddings are randomly initialized (left), gradually gain spatial structure during training (middle), requiring substantial compute and data to reach