[论文解读] Kalman smoothing and block tridiagonal systems: new connections and numerical stability results

Aleksandr Y. Aravkin, BRADLEY B. BELL+2 more|arXiv (Cornell University)|Mar 21, 2013

Statistical and numerical algorithms参考文献 24被引用 4

一句话总结

本文将卡尔曼平滑算法——Rauch-Tung-Striebel (RTS)、Mayne-Fraser (MF) 和 Mayne 的算法 A (M)——重新解释为块三对角系统的矩阵分解方法，揭示了新的数值稳定性特性。证明了 M（等价于反向块三对角算法）相比 RTS 和 MF 具有更强的稳定性保证，并提出了一种新型混合 FBT/BBT 平滑方案，该方案在条件良好的系统中既具备并行性又具有数值稳定性。

ABSTRACT

The Rauch-Tung-Striebel (RTS) and the Mayne-Fraser (MF) algorithms are two of the most popular smoothing schemes to reconstruct the state of a dynamic linear system from measurements collected on a fixed interval. Another (less popular) approach is the Mayne (M) algorithm introduced in his original paper under the name of Algorithm A. In this paper, we analyze these three smoothers from an optimization and algebraic perspective, revealing new insights on their numerical stability properties. In doing this, we re-interpret classic recursions as matrix decomposition methods for block tridiagonal matrices. First, we show that the classic RTS smoother is an implementation of the forward block tridiagonal (FBT) algorithm (also known as Thomas algorithm) for particular block tridiagonal systems. We study the numerical stability properties of this scheme, connecting the condition number of the full system to properties of the individual blocks encountered during standard recursion. Second, we study the M smoother, and prove it is equivalent to a backward block tridiagonal (BBT) algorithm with a stronger stability guarantee than RTS. Third, we illustrate how the MF smoother solves a block tridiagonal system, and prove that it has the same numerical stability properties of RTS (but not those of M). Finally, we present a new hybrid RTS/M (FBT/BBT) smoothing scheme, which is faster than MF, and has the same numerical stability guarantees of RTS and MF.

研究动机与目标

• 从优化和代数的角度分析三种主要卡尔曼平滑算法——RTS、MF 和 M——的数值稳定性。
• 将这些平滑器重新表述为块三对角系统的矩阵分解技术，以实现更深入的稳定性分析。
• 识别并比较 RTS、MF 和 M 的稳定性保证，特别是在系统条件不佳的情况下。
• 设计一种新型混合平滑算法，结合前向与反向块三对角方法，以提升效率与稳定性。
• 证明块三对角求解器的稳定性取决于各块特征值的界限，而不仅仅依赖于整个系统的条件数。

提出的方法

• 将卡尔曼平滑重新表述为涉及对称块三对角系统的最小二乘问题。
• 利用各块的最小与最大特征值，建立块三对角系统特征值的界限。
• 证明 RTS 平滑器等价于块三对角系统的前向块三对角（FBT）算法（即 Thomas 算法）。
• 引入反向块三对角（BBT）算法，并证明其等价于 Mayne 的算法 A（M），后者表现出更优的数值稳定性。
• 证明 MF 平滑器与 RTS 解决相同的块三对角系统，因此具有相同的稳定性特性，但不具有 M 所具备的更强保证。
• 提出一种混合 FBT/BBT 平滑方案，实现前后向传递的并行计算，仅需一次组合步骤，从而提升计算效率。

实验结果

研究问题

• RQ1 RTS、MF 和 M 平滑器的数值稳定性特性如何与底层块三对角系统的条件数相关？
• RQ2 RTS 和 MF 平滑器能否被解释为块三对角系统的矩阵分解方法，这对稳定性有何影响？
• RQ3 为何 M 平滑器（算法 A）在数值上比 RTS 和 MF 更稳定，能否从代数上形式化这一特性？
• RQ4 是否可以设计一种新平滑算法，结合 MF 的并行性、M 的稳定性以及 FBT 的效率？
• RQ5 递推过程中中间块的特征值如何影响卡尔曼平滑中块三对角求解器的整体稳定性？

主要发现

• RTS 平滑器在数学上等价于前向块三对角（FBT）算法，其稳定性取决于整个系统的条件数。
• M 平滑器（算法 A）等价于反向块三对角（BBT）算法，由于能独立控制各块的特征值，即使在条件不佳的系统中也能保持数值稳定性。
• MF 平滑器与 RTS 具有相同的数值稳定性特性，因为两者均通过双滤波公式求解相同的块三对角系统。
• 提出一种新型混合 FBT/BBT 平滑算法，支持并行计算，无需单独的组合步骤，并在条件良好的系统中继承 FBT 的稳定性。
• BBT 算法（因此也包括 M）的稳定性可独立于整个系统的条件数得到保证，因为中间块的特征值受整个系统特征值的限制。
• 分析表明，系统中最后的块对整体稳定性具有主导影响，通过调整这些块可改善系统条件。