[论文解读] Kalman Filter, Sensor Fusion, and Constrained Regression: Equivalences and Insights

Maria Jahja, David Farrow+2 more|arXiv (Cornell University)|May 27, 2019

Gaussian Processes and Bayesian Inference参考文献 16被引用 10

一句话总结

本文通过无限过程噪声下的传感器融合，建立了卡尔曼滤波与约束回归公式的等价性，使可应用如套索正则化等回归技术进行动力系统的模型选择。关键贡献在于一种重新表述，使卡尔曼滤波可被解释为约束回归问题，从而在诸如季节性流感实时预测等应用中实现传感器与过程模型的选择。

ABSTRACT

The Kalman filter (KF) is one of the most widely used tools for data assimilation and sequential estimation. In this work, we show that the state estimates from the KF in a standard linear dynamical system setting are equivalent to those given by the KF in a transformed system, with infinite process noise (i.e., a "flat prior") and an augmented measurement space. This reformulation -- which we refer to as augmented measurement sensor fusion (SF) -- is conceptually interesting, because the transformed system here is seemingly static (as there is effectively no process model), but we can still capture the state dynamics inherent to the KF by folding the process model into the measurement space. Further, this reformulation of the KF turns out to be useful in settings in which past states are observed eventually (at some lag). Here, when the measurement noise covariance is estimated by the empirical covariance, we show that the state predictions from SF are equivalent to those from a regression of past states on past measurements, subject to particular linear constraints (reflecting the relationships encoded in the measurement map). This allows us to port standard ideas (say, regularization methods) in regression over to dynamical systems. For example, we can posit multiple candidate process models, fold all of them into the measurement model, transform to the regression perspective, and apply $\ell_1$ penalization to perform process model selection. We give various empirical demonstrations, and focus on an application to nowcasting the weekly incidence of influenza in the US.

研究动机与目标

• 建立卡尔曼滤波与无限过程噪声下传感器融合框架的理论等价性，以及扩展测量空间。
• 当过去状态以延迟方式观测时，将卡尔曼滤波重新表述为约束回归问题，从而可将回归工具应用于动力系统。
• 开发实用方法，利用套索和梯度提升等正则化技术进行传感器与过程模型选择。
• 在实际应用中展示该重新表述的实用性，特别是在美国每周流感发病率的实时预测中。
• 提供一个统一框架，连接卡尔曼滤波、传感器融合与约束回归，提供新见解与计算工具。

提出的方法

• 将标准卡尔曼滤波重新表述为具有无限过程噪声（平坦先验）的传感器融合问题，将动态系统转化为具有扩展测量空间的静态估计问题。
• 推导出等价的约束回归公式，其中状态预测通过在测量映射导出的线性约束下，对过去状态回归过去测量值获得。
• 对回归系数应用套索正则化，通过惩罚候选过程模型的系数，实现传感器选择与过程模型选择。
• 使用梯度提升迭代学习传感器函数并更新状态估计，在非凸但可处理的框架中实现传感器与状态同化联合学习。
• 通过经验估计测量噪声协方差，以实现基于回归的卡尔曼滤波近似。
• 在流感实时预测应用中实现该框架，将流感代理指标的预测模型作为传感器，通过约束回归方法进行融合。

实验结果

研究问题

• RQ1 当过去状态以延迟方式观测时，卡尔曼滤波的状态估计是否可等价表示为约束回归问题？
• RQ2 如何将套索等正则化技术应用于回归公式，以在动力系统中实现传感器与过程模型选择？
• RQ3 所提出的传感器融合与基于回归的卡尔曼滤波在真实世界的实时预测任务中表现如何，例如预测每周流感发病率？
• RQ4 梯度提升能否有效用于在非凸优化框架中迭代学习传感器函数并改进状态估计？
• RQ5 卡尔曼滤波与无限过程噪声下传感器融合之间的等价性，在顺序估计中提供了哪些概念与计算优势？

主要发现

• 卡尔曼滤波的状态估计在数学上等价于具有无限过程噪声和扩展测量空间的传感器融合框架所得结果。
• 当过去状态以延迟方式观测时，卡尔曼滤波的预测等价于对过去状态在基于测量模型导出的约束下，对过去测量值进行的约束回归。
• 在回归公式中应用套索正则化，可有效实现传感器与过程模型选择，如流感实时预测应用中所展示。
• 约束回归公式允许将多个候选过程模型整合到测量空间中，套索惩罚可选择最相关的模型。
• 基于梯度提升的传感器与状态估计迭代学习方法优于标准线性传感器融合，在流感实时预测任务中表现出强劲的预测性能。
• 实证结果表明，即使未显式进行传感器选择，所提出的框架在预测任务中表现良好，并为动力系统中的模型选择与学习提供了灵活基础。