[論文レビュー] Generalized Kalman Smoothing: Modeling and Algorithms

Aleksandr Y. Aravkin, James V. Burke+3 more|arXiv (Cornell University)|Sep 20, 2016

Control Systems and Identification参考文献 70被引用数 7

ひとこと要約

本稿では、外れ値に対するロバスト性と動的システムにおける急激な変化の追跡能力を向上させるために、2次罰則を非滑らかで凸な関数に置き換える一般化カルマンスムージングを導入する。凸最適化を用いて問題を定式化し、プリムアル・デュアル法による効率的解法を可能にするためにFenchel双対性を活用し、非ガウス分布ノイズおよびスパース信号を伴う数値例において、古典的手法を上回る優れた性能を示す。

ABSTRACT

State-space smoothing has found many applications in science and engineering. Under linear and Gaussian assumptions, smoothed estimates can be obtained using efficient recursions, for example Rauch-Tung-Striebel and Mayne-Fraser algorithms. Such schemes are equivalent to linear algebraic techniques that minimize a convex quadratic objective function with structure induced by the dynamic model. These classical formulations fall short in many important circumstances. For instance, smoothers obtained using quadratic penalties can fail when outliers are present in the data, and cannot track impulsive inputs and abrupt state changes. Motivated by these shortcomings, generalized Kalman smoothing formulations have been proposed in the last few years, replacing quadratic models with more suitable, often nonsmooth, convex functions. In contrast to classical models, these general estimators require use of iterated algorithms, and these have received increased attention from control, signal processing, machine learning, and optimization communities. In this survey we show that the optimization viewpoint provides the control and signal processing community great freedom in the development of novel modeling and inference frameworks for dynamical systems. We discuss general statistical models for dynamic systems, making full use of nonsmooth convex penalties and constraints, and providing links to important models in signal processing and machine learning. We also survey optimization techniques for these formulations, paying close attention to dynamic problem structure. Modeling concepts and algorithms are illustrated with numerical examples.

研究の動機と目的

• 非ガウス分布ノイズや外れ値の下で、2次罰則がロバストな推定を提供できない古典的カルマンスムージングの限界を克服すること。
• ガウス分布の仮定を越えて、一般の凸罰則と制約を用いた柔軟なモデリングフレームワークを動的システムに開発すること。
• 最適化駆動のアプローチにより、制御、信号処理、機械学習の視点を統合すること。
• 大規模な一般化スムージング問題を解くために、動的構造と双対性理論を活用した効率的アルゴリズムを提供すること。

提案手法

• 状態軌道と残差に対する凸関数（非滑らかを含む）の和を最小化する凸最適化問題として、一般化カルマンスムージングを定式化する。
• Fenchel共役双対性を用いて、プリムアル・デュアルの逐次的最適化手法による効率的解法が可能な双対問題を導出する。
• Fenchel-Rockafellar双対定理を適用し、やや弱い制約適合条件のもとで強い双対性が成り立つことを確立し、最適性条件が満たされることを保証する。
• ADMM（交替方向乗数法）やPDHG（プリムアル・デュアルハイブリッド勾配法）などの反復的アルゴリズムを用い、問題の動的構造を活かす。
• 統計モデルと非滑らか罰則（例：L1ノルム、行列ノルム）を統合し、状態推定におけるスパarsityとロバスト性を促進する。
• 双対問題を $ f^*(w) + g^*(-K^T w) $ の形で導出し、双対勾配法や分割スキームによる効率的計算を可能にする。

実験結果

リサーチクエスチョン

• RQ1 凸最適化を用いて、非ガウス分布ノイズや外れ値に対処できるように、古典的カルマンスムージングをどのように一般化できるか？
• RQ2 非滑らか罰則を伴う一般化スムージング問題において、強い双対性が成り立つ条件は何か？
• RQ3 状態空間モデルに内在する動的構造をどのように活用し、効率的かつスケーラブルなアルゴリズムを設計できるか？
• RQ4 インパulse的擾乱やスパースな状態変化が存在する状況下で、一般化スムージングが古典的2次形式に比べてどの程度の性能向上を達成できるか？
• RQ5 L1ノルムや行列ノルムなどの異なる凸罰則は、動的システムにおける状態推定のロバスト性と精度にどのように影響を与えるか？

主な発見

• 一般化カルマンスムージングは、ガウス分布から逸脱するノイズ下でも、古典的手法よりも優れた外れ値耐性を示す。
• 非滑らか凸罰則の使用により、古典的手法が捉えきれない急激な状態変化やスパース入力を正確に追跡できる。
• やや弱い制約適合条件下でも強い双対性が成立し、プライマル問題とデュアル問題が等価な最適解をもたらし、明確な最適性条件が保証される。
• ADMM や PDHG などのプリムアル・デュアルアルゴリズムは、問題の動的構造とスパarsityを活かして、大規模な一般化スムージング問題を効率的に解ける。
• 数値例では、重尾ノイズやスパースなイノベーションが存在する状況で、本手法が古典的手法（Rauch-Tung-Striebel や Mayne-Fraser スムージング）を上回ることを示した。
• 本フレームワークは、制御、信号処理、機械学習の分野における動的システム推論を統合する最適化の視点を提供する。