[논문 리뷰] Kalman smoothing and block tridiagonal systems: new connections and numerical stability results

Aleksandr Y. Aravkin, BRADLEY B. BELL외 2명|arXiv (Cornell University)|2013. 03. 21.

Statistical and numerical algorithms참고 문헌 24인용 수 4

한 줄 요약

이 논문은 칼만 스무딩 알고리즘—Rauch-Tung-Striebel (RTS), Mayne-Fraser (MF), 및 Mayne의 알고리즘 A (M)—을 블록 3중대각 시스템에 대한 행렬 분해 방법으로 재해석하여 새로운 수치적 안정성 성질을 드러낸다. M(역방향 블록 3중대각 알고리즘과 동일)이 RTS 및 MF보다 더 강력한 안정성 보장을 제공한다는 것을 증명하고, 잘 조절된 시스템에 대해 병렬 처리가 가능하면서도 수치적으로 안정적인 새로운 하이브리드 FBT/BBT 스무딩 기법을 제안한다.

ABSTRACT

The Rauch-Tung-Striebel (RTS) and the Mayne-Fraser (MF) algorithms are two of the most popular smoothing schemes to reconstruct the state of a dynamic linear system from measurements collected on a fixed interval. Another (less popular) approach is the Mayne (M) algorithm introduced in his original paper under the name of Algorithm A. In this paper, we analyze these three smoothers from an optimization and algebraic perspective, revealing new insights on their numerical stability properties. In doing this, we re-interpret classic recursions as matrix decomposition methods for block tridiagonal matrices. First, we show that the classic RTS smoother is an implementation of the forward block tridiagonal (FBT) algorithm (also known as Thomas algorithm) for particular block tridiagonal systems. We study the numerical stability properties of this scheme, connecting the condition number of the full system to properties of the individual blocks encountered during standard recursion. Second, we study the M smoother, and prove it is equivalent to a backward block tridiagonal (BBT) algorithm with a stronger stability guarantee than RTS. Third, we illustrate how the MF smoother solves a block tridiagonal system, and prove that it has the same numerical stability properties of RTS (but not those of M). Finally, we present a new hybrid RTS/M (FBT/BBT) smoothing scheme, which is faster than MF, and has the same numerical stability guarantees of RTS and MF.

연구 동기 및 목표

• 세 가지 주요 칼만 스무딩 알고리즘—RTS, MF, 및 M—의 수치적 안정성을 최적화 및 대수적 관점에서 분석하기.
• 이 스무딩 기법들을 블록 3중대각 시스템에 대한 행렬 분해 기법으로 재해석하여, 더 깊은 안정성 분석을 가능하게 하기.
• 특히 악조건 시스템 설정 하에서 RTS, MF, 및 M의 안정성 보장을 식별하고 비교하기.
• 앞서서 진행되는 블록 3중대각 방법과 뒤에서 진행되는 블록 3중대각 방법을 융합한 새로운 하이브리드 스무딩 알고리즘 개발하기.
• 블록 3중대각 해법의 안정성은 전체 시스템의 조건수 뿐 아니라 개별 블록의 고유값 범위에 의존함을 보여주기.

제안 방법

• 대칭 블록 3중대각 시스템을 포함하는 최소제곱 문제로 칼만 스무딩을 재구성하기.
• 개별 블록의 최소 및 최대 고유값을 사용하여 블록 3중대각 시스템의 고유값에 하한과 상한을 설정하기.
• RTS 스무딩기가 블록 3중대각 시스템에 대해 전방 블록 3중대각(FBT) 알고리즘(토머스 알고리즘)과 수학적으로 동일하다는 것을 증명하기.
• 역방향 블록 3중대각(BBT) 알고리즘을 도입하고, 이와 Mayne의 알고리즘 A(M)가 동일하다는 것을 증명하며, 더 뛰어난 수치적 안정성을 보임을 보여주기.
• MF 스무딩이 RTS와 동일한 블록 3중대각 시스템을 해결하므로 동일한 안정성 성질을 공유하지만, M만큼의 강력한 보장을 갖지 못한다는 것을 입증하기.
• 전방 및 역방향 블록 3중대각 방법을 병렬로 수행하고 단일 조합 단계를 통해 통합하는 하이브리드 FBT/BBT 스무딩 기법을 제안하여 계산 효율성 향상시키기.

실험 결과

연구 질문

• RQ1 RTS, MF, 및 M 스무딩기의 수치적 안정성 성질은 기저가 되는 블록 3중대각 시스템의 조건수와 어떻게 관련이 있는가?
• RQ2 RTS 및 MF 스무딩기는 블록 3중대각 시스템에 대한 행렬 분해 방법으로 해석될 수 있으며, 이는 안정성에 어떤 영향을 미치는가?
• RQ3 왜 M 스무딩기(알고리즘 A)가 RTS 및 MF보다 수치적으로 더 안정적인가? 이를 대수적으로 형식화할 수 있는가?
• RQ4 MF의 병렬성과 M의 안정성, FBT의 효율성을 융합한 새로운 스무딩 알고리즘을 설계할 수 있는가?
• RQ5 재귀 과정에서 중간 블록의 고유값은 칼만 스무딩에서 블록 3중대각 해법의 전체 안정성에 어떤 영향을 미치는가?

주요 결과

• RTS 스무딩기는 전방 블록 3중대각(FBT) 알고리즘과 수학적으로 동일하며, 전체 시스템의 조건수에 따라 안정성이 좌우된다.
• M 스무딩기(알고리즘 A)는 역방향 블록 3중대각(BBT) 알고리즘과 동일하며, 개별 블록의 고유값을 독립적으로 제어함으로써 악조건 시스템에서도 수치적 안정성을 유지한다.
• MF 스무딩기는 RTS와 동일한 블록 3중대각 시스템을 해결하므로 동일한 수치적 안정성 성질을 공유하지만, M만큼의 강력한 보장을 갖지 못한다.
• 전방 및 역방향 블록 3중대각 방법을 병렬로 수행하고 별도의 조합 단계가 필요 없으며, 잘 조절된 시스템에 대해서는 FBT의 안정성을 그대로 이어받는 새로운 하이브리드 FBT/BBT 스무딩 알고리즘을 제안한다.
• BBT 알고리즘(따라서 M)의 안정성은 전체 시스템의 조건수와 무관하게 보장되며, 중간 블록의 고유값이 전체 시스템의 고유값에 의해 제한되기 때문이다.
• 분석 결과, 최종 블록이 전체 안정성에 지배적인 영향을 미치며, 이러한 블록을 수정함으로써 시스템의 조건수를 향상시킬 수 있다.