[論文レビュー] The Extended Kalman Filter is a Natural Gradient Descent in Trajectory Space

Yann Ollivier|arXiv (Cornell University)|Jan 3, 2019

Target Tracking and Data Fusion in Sensor Networks参考文献 33被引用数 11

ひとこと要約

本稿では、拡張カルマンフィルタ（EKF）が、システムの軌道空間におけるオンライン自然勾配降下法と数学的に同等であることを確立している。観測の統計的モデルのパラメータとして各軌道を扱うことで、フィッシャー情報行列で前処理された自然勾配降下法は、プロセスノイズが事後分布共分散に比例する標準的選択のもとで、EKFの式を正確に回復する。

ABSTRACT

The extended Kalman filter is perhaps the most standard tool to estimate in real time the state of a dynamical system from noisy measurements of some function of the system, with extensive practical applications (such as position tracking via GPS). While the plain Kalman filter for linear systems is well-understood, the extended Kalman filter relies on linearizations which have been debated. We recover the exact extended Kalman filter equations from first principles in statistical learning: the extended Kalman filter is equal to Amari's online natural gradient, applied in the space of trajectories of the system. Namely, each possible trajectory of the dynamical system defines a probability law over possible observations. In principle this makes it possible to treat the underlying trajectory as the parameter of a statistical model of the observations. Then the parameter can be learned by gradient ascent on the log-likelihood of observations, as they become available. Using Amari's natural gradient from information geometry (a gradient descent preconditioned with the Fisher matrix, which provides parameterization-invariance) exactly recovers the extended Kalman filter. This applies only to a particular choice of process noise in the Kalman filter, namely, taking noise proportional to the posterior covariance - a canonical choice in the absence of specific model information.

研究の動機と目的

• 拡張カルマンフィルタと統計的学習におけるオンライン自然勾配降下法との間の深い理論的関係を確立すること。
• EKFの線形化に依存する長年の曖昧さを解消し、それが情報幾何の原則から自然に生じることを示すこと。
• プロセスノイズが事後共分散に比例する場合、EKFの挙動がパrameterizationに依存しないことを示すこと。
• 状態推定のフィルタリングとパラメータ推定のオンライン学習という2つの主要な枠組みを、軌道をモデルのパラメータとして扱うことで統一すること。
• ヒューリスティックな線形化ではなく、自然勾配理論を用いてEKFを第一原理から一貫した形で導出すること。

提案手法

• 動的システムの可能な各軌道を、ノイズのある観測のための統計的モデルのパラメータとして扱う。
• 観測を、軌道を条件とするガウス分布でモデル化し、観測ノイズ共分散を$ R $とする。
• 軌道パラメータに関して、到着する観測の対数尤度を最大化するためにオンライン自然勾配降下法を適用する。
• アマリの自然勾配を用い、パrameterization不変性を確保するため、標準勾配をフィッシャー情報行列の逆行列で前処理する。
• 軌道空間におけるフィッシャー情報行列を導出し、それが状態の事後共分散に一致することを示す。
• 得られた更新則が、特定の選択$ Q_t \propto P_{t|t-1} $のもとで、拡張カルマンフィルタの式と一致することを示す。

実験結果

リサーチクエスチョン

• RQ1 拡張カルマンフィルタは、ヒューリスティックな線形化ではなく、統計的学習における第一原理から導出可能か？
• RQ2 情報幾何とパrameter空間構造の観点から、EKFの幾何的解釈は何か？
• RQ3 EKFは線形近似に依存しているにもかかわらず、なぜ実用的に頑健に機能するのか？
• RQ4 EKFが軌道空間における自然勾配降下法と同等となる条件は何か？
• RQ5 プロセスノイズ$ Q $の選択が、EKFと自然勾配法の間の同等性にどのように影響するか？

主な発見

• プロセスノイズが事後共分散行列に比例する場合、拡張カルマンフィルタは、軌道空間におけるオンライン自然勾配降下法と正確に同等である。
• この同等性は離散的・連続的時間の両方で成立し、拡張カルマン＝ブーツィー・フィルタへと拡張可能である。
• 自然勾配の定式化により、EKFは一貫した、パrameterization不変な導出が可能となり、その線形化に基づく構成に伴う曖昧さが解消される。
• 標準的選択$ Q \propto P_{t|t-1} $は基底不変性を保証し、自然勾配の再パラメータ化不変性と整合する。
• 軌道空間におけるフィッシャー情報行列は、事後共分散の逆行列に一致し、自然勾配更新における前処理の正当性が裏付けられる。
• 以前の結果（システム状態が定常のとき$ f = \text{Id} $、カルマンフィルタが自然勾配降下法と同等）を一般の非線形動的系へと拡張した。