[论文解读] Generalized Kalman Smoothing: Modeling and Algorithms

Aleksandr Y. Aravkin, James V. Burke+3 more|arXiv (Cornell University)|Sep 20, 2016

Control Systems and Identification参考文献 70被引用 7

一句话总结

本文通过用非光滑凸函数替代二次惩罚项，提出广义卡尔曼平滑方法，以提升动态系统中对异常值的鲁棒性及对突变的跟踪能力。该方法采用凸优化建模，利用Fenchel对偶性通过原始-对偶算法高效求解，并在非高斯噪声和稀疏信号的数值实验中展现出优于经典方法的性能。

ABSTRACT

State-space smoothing has found many applications in science and engineering. Under linear and Gaussian assumptions, smoothed estimates can be obtained using efficient recursions, for example Rauch-Tung-Striebel and Mayne-Fraser algorithms. Such schemes are equivalent to linear algebraic techniques that minimize a convex quadratic objective function with structure induced by the dynamic model. These classical formulations fall short in many important circumstances. For instance, smoothers obtained using quadratic penalties can fail when outliers are present in the data, and cannot track impulsive inputs and abrupt state changes. Motivated by these shortcomings, generalized Kalman smoothing formulations have been proposed in the last few years, replacing quadratic models with more suitable, often nonsmooth, convex functions. In contrast to classical models, these general estimators require use of iterated algorithms, and these have received increased attention from control, signal processing, machine learning, and optimization communities. In this survey we show that the optimization viewpoint provides the control and signal processing community great freedom in the development of novel modeling and inference frameworks for dynamical systems. We discuss general statistical models for dynamic systems, making full use of nonsmooth convex penalties and constraints, and providing links to important models in signal processing and machine learning. We also survey optimization techniques for these formulations, paying close attention to dynamic problem structure. Modeling concepts and algorithms are illustrated with numerical examples.

研究动机与目标

• 解决在非高斯噪声和异常值存在下经典卡尔曼平滑方法因二次惩罚项失效而导致的估计不鲁棒问题。
• 通过一般凸惩罚项和约束条件，构建适用于动态系统的灵活建模框架，突破高斯假设的限制。
• 通过以优化为核心的方法，统一控制、信号处理与机器学习的视角，实现状态估计的统一框架。
• 设计高效算法，利用问题的动态结构与对偶理论，求解大规模广义平滑问题。

提出的方法

• 将广义卡尔曼平滑建模为一个凸优化问题，目标是最小化状态轨迹与残差上的一组凸惩罚项（可能为非光滑）之和。
• 利用Fenchel共轭对偶性推导对偶问题，从而通过原始-对偶一阶方法实现高效求解。
• 应用Fenchel-Rockafellar对偶定理，在较弱的约束资格条件下建立强对偶性，确保最优性条件成立。
• 采用交替方向乘子法（ADMM）和原始-对偶混合梯度（PDHG）等迭代算法，以利用问题的动态结构。
• 将统计模型与非光滑惩罚项（如L1范数、核范数）结合，以在状态估计中促进稀疏性与鲁棒性。
• 推导并求解对偶问题，形式为最小化 $ f^*(w) + g^*(-K^T w) $，从而通过对偶上升或分裂算法实现高效计算。

实验结果

研究问题

• RQ1 如何通过凸优化方法将经典卡尔曼平滑推广至处理非高斯噪声与异常值？
• RQ2 在使用非光滑惩罚项的广义平滑问题中，强对偶性在何种条件下成立？
• RQ3 如何利用状态空间模型中的动态结构，设计高效且可扩展的广义平滑算法？
• RQ4 在脉冲干扰或稀疏状态变化存在的情况下，广义平滑相比经典二次形式的性能增益如何？
• RQ5 不同凸惩罚项（如L1范数、核范数）对动态系统中状态估计的鲁棒性与精度有何影响？

主要发现

• 广义卡尔曼平滑在噪声偏离高斯分布时，对异常值和脉冲响应表现出显著优于经典二次形式的鲁棒性。
• 采用非光滑凸惩罚项可准确跟踪突变状态变化与稀疏输入，而经典方法难以捕捉此类特征。
• 在较弱的约束资格条件下，强对偶性成立，确保原始问题与对偶问题具有等价的最优解，并满足明确的最优性条件。
• 原始-对偶算法（如ADMM与PDHG）通过利用问题的动态结构与稀疏性，高效求解大规模广义平滑问题。
• 数值实验表明，所提框架在重尾噪声与稀疏激励场景下，优于经典的Rauch-Tung-Striebel与Mayne-Fraser平滑器。
• 该框架提供统一的优化视角，弥合了控制、信号处理与机器学习在动态系统推理中的理论与方法鸿沟。