[論文レビュー] On Relationship between Primal-Dual Method of Multipliers and Kalman Filter

Guoqiang Zhang, W. Bastiaan Kleijn+1 more|arXiv (Cornell University)|Aug 23, 2017

Cybersecurity and Information Systems被引用数 4

ひとこと要約

本論文は、線形状態空間モデルを表す成長するチェーングラフ上で最大尤度推定問題にPDMM（プライマルデュアルメソッド）を適用した場合、適切なパrameter選択のもとで、Kalmanフィルタと同一の更新式を生成することを示すことにより、PDMMとKalmanフィルタの理論的同等性を確立している。主な貢献は、分散最適化と最適推定の間の明示的リンクを示したことであり、木構造グラフ上でPDMMが有限収束することを示している。

ABSTRACT

Recently the primal-dual method of multipliers (PDMM), a novel distributed optimization method, was proposed for solving a general class of decomposable convex optimizations over graphic models. In this work, we first study the convergence properties of PDMM for decomposable quadratic optimizations over tree-structured graphs. We show that with proper parameter selection, PDMM converges to its optimal solution in finite number of iterations. We then apply PDMM for the causal estimation problem over a statistical linear state-space model. We show that PDMM and the Kalman filter have the same update expressions, where PDMM can be interpreted as solving a sequence of quadratic optimizations over a growing chain graph.

研究の動機と目的

• 木構造グラフ上で分解可能な二次最適化問題に対するPDMMの収束挙動を調査すること。
• 分散最適化手法としてのPDMMと、古典的推定アルゴリズムとしてのKalmanフィルタとの関係を探索すること。
• PDMMが、状態空間モデルから導かれる成長するチェーングラフ上で一連の二次最適化問題を解いていると解釈できることを示すこと。
• PDMMがKalmanフィルタと同じ更新ダイナミクスを生成する条件を確立すること。
• 適切なパrameter選択のもとで、PDMMが木構造グラフ上で二次問題に対して有限収束を達成することを示すこと。

提案手法

• 線形状態空間モデルにおける最大尤度推定問題を、成長するチェーングラフ上の分解可能な二次最適化問題として定式化する。
• 再定式化された最適化問題にPDMMを適用し、各時刻をチェーン構造グラフィカルモデル上のノードとして扱う。
• PDMMの更新ルールがKalmanフィルタの予測および更新ステップと一致するようにパラメータを選択する。
• 行列の恒等式および共分散行列の性質を活用して、PDMMとKalmanフィルタの更新式の同等性を導出する。
• 変分解析および行列逆行列補題（例：補題3）を用いて、PDMMとKalmanフィルタから導かれる式を簡略化・等価化する。
• 代数的導出を通じて同等性を検証し、PDMMにおける状態推定および誤差共分散の更新がKalmanフィルタと一致することを示す。

実験結果

リサーチクエスチョン

• RQ1 PDMMは、木構造グラフ上で二次最適化問題に対して有限収束を達成できるか？
• RQ2 PDMMの更新ルールとKalmanフィルタの更新ルールの間には、明示的な数学的同等性があるか？
• RQ3 Kalmanフィルタの推定プロセスは、PDMMによる分散最適化ステップの系列と解釈できるか？
• RQ4 PDMMにおいて、Kalmanフィルタと同じダイナミクスを生成するパラメータ選択は何か？
• RQ5 状態空間モデル（成長するチェーングラフとして表現される）の構造が、PDMMにおける有限収束を可能にするか？

主な発見

• 適切なパラメータ選択のもとで、PDMMは木構造グラフ上で分解可能な二次最適化問題に適用した場合、有限回の反復で最適解に収束する。
• 線形状態空間モデルにPDMMを適用した場合、やや緩い条件下でも、Kalmanフィルタと同一の状態推定および誤差共分散の更新式を生成する。
• 最適化問題が状態空間モデルから導かれる成長するチェーングラフ上の二次計画問題の系列に再定式化された場合、Kalmanフィルタの予測および更新ステップは、数学的にPDMMの更新ステップと同等である。
• 同等性は、行列代数（特に行列逆行列補題および共分散伝播恒等式の使用を含む）を用いて確立される。
• PDMMの定式化により、Kalmanフィルタが最大尤度推定問題の分散的解法として、新たな最適化理論的解釈が可能になる。
• 導出された同等性は、ガウスノイズおよび線形状態空間ダイナミクスの仮定のもとで成り立つことから、この設定において両手法の最適性が裏付けられる。