[论文解读] From Gradients to Riccati Geometry: Kalman World Models for Single-Pass Learning
本工作提出 Kalman World Models(KWM),一种无梯度框架,通过递归贝叶斯滤波训练状态空间模型,并将激活层级创新校正扩展到变换器和大语言模型。
Backpropagation dominates modern machine learning, yet it is not the only principled method for optimizing dynamical systems. We propose Kalman World Models (KWM), a class of learned state-space models trained via recursive Bayesian filtering rather than reverse-mode automatic differentiation. Instead of gradient descent updates, we replace parameter learning with Kalman-style gain adaptation. Training becomes online filtering; error signals become innovations. We further extend this framework to transformer-based large language models (LLMs), where internal activations are treated as latent dynamical states corrected via innovation terms. This yields a gradient-free training and adaptation paradigm grounded in control theory. We derive stability conditions, analyze computational complexity, and provide empirical results on sequence modeling tasks demonstrating competitive performance with improved robustness and continual adaptation properties.
研究动机与目标
- 为优化动态系统提出对反向传播的替代方案的动机。
- 提出基于卡尔曼滤波的学习范式,将参数视为潜在状态。
- 建立卡尔曼滤波、自然梯度与信息几何之间的统一联系。
- 将框架扩展至变换器激活,以实现大语言模型的在线自适应。
- 提供稳定性分析、复杂性考量,并在序列建模上进行实证验证。
提出的方法
- 将神经网络定义为带增广状态的状态空间模型 z_t = [x_t; θ_t]。
- 给出卡尔曼风格的参数更新 θ_{t+1} = θ_t + K_t(y_t - ŷ_t),并在高斯假设下将 K_t 与费舍尔信息相关联。
- 证明卡尔曼–自然梯度等价性:当 P_t ≈ F^{-1} 时,卡尔曼增益近似自然梯度。
- 将变换器中的激活校正视为在激活空间的 EKF 类更新,使用 H_t 与 F_h。
- 引入 Koopman 提升的世界模型以线性化非线性动力学,从而实现精准的卡尔曼滤波。
- 讨论在线训练、持续学习的收益,以及通过结构化协方差近似实现的可扩展性。
实验结果
研究问题
- RQ1卡尔曼风格的更新是否在序列建模任务上达到与基于梯度的训练相当的性能?
- RQ2将参数视为潜在状态如何影响非平稳情况下的稳定性、鲁棒性与持续学习?
- RQ3在 LLM 中,激活层级的创新校正是否能减轻模型幻觉与分布偏移?
- RQ4对于大规模模型,有哪些计算权衡与可扩展性策略(如结构化 P_t)?
主要发现
- 在序列建模任务上具有竞争力的经验结果,并且鲁棒性提升。
- 无需反向传播即可实现在线、具不确定性意识的自适应。
- 激活层级的创新校正可实现对变换器表示的在线优化。
- 基于协方差的预处理提供了相对于固定学习率的原理性替代方案。
- 该框架将卡尔曼滤波与自然梯度及信息几何联系起来,推动动态学习研究。
阅读本论文
在 Nubint 阅读器中打开原文,边读边就任意段落提问。
在 Nubint 中阅读本论文本解读由 AI 根据论文原文生成,引用前请核对原文。