Skip to main content
QUICK REVIEW

[논문 리뷰] From Gradients to Riccati Geometry: Kalman World Models for Single-Pass Learning

Andrew Kiruluta|arXiv (Cornell University)|2026. 03. 13.
Domain Adaptation and Few-Shot LearningComputer Science인용 수 0
한 줄 요약

본 연구는 Kalman World Models (KWM)를 소개한다. 이는 recursive Bayesian filtering을 통해 상태-공간 모델을 학습하는 gradient-free 프레임워크이며, activation-level innovation correction을 트랜스포머와 LLM에 확장한다.

ABSTRACT

Backpropagation dominates modern machine learning, yet it is not the only principled method for optimizing dynamical systems. We propose Kalman World Models (KWM), a class of learned state-space models trained via recursive Bayesian filtering rather than reverse-mode automatic differentiation. Instead of gradient descent updates, we replace parameter learning with Kalman-style gain adaptation. Training becomes online filtering; error signals become innovations. We further extend this framework to transformer-based large language models (LLMs), where internal activations are treated as latent dynamical states corrected via innovation terms. This yields a gradient-free training and adaptation paradigm grounded in control theory. We derive stability conditions, analyze computational complexity, and provide empirical results on sequence modeling tasks demonstrating competitive performance with improved robustness and continual adaptation properties.

연구 동기 및 목표

  • 다이나믹 시스템 최적화를 위한 backpropagation에 대한 대안을 제시한다.
  • 매개변수를 잠재 상태로 다루는 Kalman-filter 기반 학습 패러다임을 제안한다.
  • Kalman filtering, natural gradient, information geometry 사이의 통합 연결 고리를 개발한다.
  • LLM에서 온라인 적응을 위한 transformer 활성화에 프레임워크를 확장한다.
  • 시퀀스 모델링에 대한 안정성 분석, 복잡도 고려사항 및 실증 검증을 제공한다.

제안 방법

  • 신경망을 확장 상태 z_t = [x_t; θ_t]를 가진 상태-공간 모델로 정의한다.
  • Kalman 스타일의 매개변수 업데이트 θ_{t+1} = θ_t + K_t(y_t - ŷ_t)을 보이고, K_t를 Gaussian 가정하에서 Fisher 정보와 관련지운다.
  • Kalman–Natural Gradient 등가성 증명: P_t ≈ F^{-1}일 때 Kalman 이득이 natural gradient를 근사한다.
  • 트랜스포머의 활성화 보정을 활성화 공간에서 H_t 및 F_h를 가진 EKF 유사 업데이트로 다룬다.
  • Koopman-lifted world models를 도입하여 비선형 동역학을 선형화하고 정확한 Kalman 필터링을 가능하게 한다.
  • 온라인 학습, 지속 학습의 이점 및 구조화된 공분산 근사를 통한 확장성에 대해 논의한다.

실험 결과

연구 질문

  • RQ1Kalman 스타일 업데이트가 시퀀스 모델링 작업에서 gradient-based 훈련과 비슷한 성능을 달성할 수 있는가?
  • RQ2매개변수를 잠재 상태로 다루는 것이 비정상성 하에서 안정성, 강건성 및 지속적 학습에 어떤 영향을 미치는가?
  • RQ3activation-level innovation corrections가 LLM의 모델 허위 정보(hallucinations) 및 분포 변화(distribution shift)를 완화할 수 있는가?
  • RQ4대규모 모델에 대한 계산적 트레이드오프와 확장성 전략은 무엇인가요(예: 구조화된 P_t)?

주요 결과

  • 향상된 강건성과 함께 시퀀스 모델링 작업에서 실증적으로 경쟁력 있는 결과를 보인다.
  • 역전파 없이 온라인 불확실성 인지 적응.
  • activation-level innovation corrections는 transformer 표현의 온라인 정제를 가능하게 한다.
  • 공분산 기반 사전 조건화는 고정된 학습률에 대한 합리적인 대안을 제공한다.
  • 프레임워크는 동적 학습을 위한 Kalman filtering과 natural gradient 및 information geometry를 연결한다.

이 논문 읽기

누빈트 뷰어에서 원문을 열고, 읽으면서 궁금한 곳을 바로 물어보세요.

누빈트에서 이 논문 읽기

이 리뷰는 AI가 논문 원문을 바탕으로 만들었습니다. 인용하기 전에 원문을 확인해 주세요.