Skip to main content
QUICK REVIEW

[論文レビュー] From Gradients to Riccati Geometry: Kalman World Models for Single-Pass Learning

Andrew Kiruluta|arXiv (Cornell University)|Mar 13, 2026
Domain Adaptation and Few-Shot LearningComputer Science被引用数 0
ひとこと要約

この研究はKalman World Models(KWM)を紹介します。これは勾配なしのフレームワークで、再帰ベイズフィルタリングを用いて状態空間モデルを訓練し、 activations に対するイノベーション補正をトランスフォーマーやLLMへ拡張します。

ABSTRACT

Backpropagation dominates modern machine learning, yet it is not the only principled method for optimizing dynamical systems. We propose Kalman World Models (KWM), a class of learned state-space models trained via recursive Bayesian filtering rather than reverse-mode automatic differentiation. Instead of gradient descent updates, we replace parameter learning with Kalman-style gain adaptation. Training becomes online filtering; error signals become innovations. We further extend this framework to transformer-based large language models (LLMs), where internal activations are treated as latent dynamical states corrected via innovation terms. This yields a gradient-free training and adaptation paradigm grounded in control theory. We derive stability conditions, analyze computational complexity, and provide empirical results on sequence modeling tasks demonstrating competitive performance with improved robustness and continual adaptation properties.

研究の動機と目的

  • 動的システム最適化のためのバックプロパゲーション代替手段を動機づける。
  • パラメータを潜在状態として扱うカルマンフィルタベースの学習パラダイムを提案する。
  • カルマンフィルタ、自然勾配、情報幾何学の統一的なリンクを開発する。
  • オンライン適応のためのLLMにおけるトランスフォーマー活性化へフレームワークを拡張する。
  • 序列モデリングにおける安定性解析、計算コストの考慮、および経験的検証を提供する。

提案手法

  • z_t = [x_t; θ_t] で augmented state を用いた状態空間モデルとしてニューラルネットワークを定義する。
  • Kalman スタイルのパラメータ更新 θ_{t+1} = θ_t + K_t(y_t - ŷ_t) を示し、K_t をガウス仮定の下のフィッシャ情報と関連づける。
  • Kalman–自然勾配同値性を証明する:P_t ≈ F^{-1} のとき Kalman ゲインは自然勾配を近似する。
  • 変換器の活性化補正を活性化空間での EKF 風の更新として扱い、H_t と F_h を用いる。
  • ノンライン Dynamics を線形化するために Koopman リフティング世界モデルを導入し、厳密なカルマンフィルタリングを実現する。
  • オンライン訓練、継続学習の利点、構造化共分散近似によるスケーラビリティを議論する。

実験結果

リサーチクエスチョン

  • RQ1カルマン風の更新はシーケンスモデリング課題で勾配ベースの訓練と同等の性能を達成できるか。
  • RQ2パラメータを潜在状態として扱うことは非定常性下での安定性・ロバスト性・継続学習にどう影響するか。
  • RQ3活性化レベルのイノベーション補正はLLM の幻覚や分布シフトを軽減できるか。
  • RQ4大規模モデルに対する計算上のトレードオフとスケーラビリティ戦略(例:構造化 P_t)とは何か。

主な発見

  • シーケンスモデリング課題で経験的に競争力のある結果と、ロバスト性の向上。
  • バックプロパゲーションなしでのオンライン・不確実性認識を伴う適応。
  • トランスフォーマー表現のオンライン微調整を可能にする活性化レベルのイノベーション補正。
  • 共分散ベースの前処置が固定学習率への principled な代替を提供。
  • カルマンフィルタングと自然勾配および情報幾何学を動的学習へ結びつける框組。

この論文を読む

Nubintのビューアで原文を開き、読みながら気になる箇所をすぐに質問できます。

Nubintでこの論文を読む

このレビューはAIが論文の原文をもとに作成しました。引用する前に原文をご確認ください。