[論文レビュー] The discriminative Kalman filter for nonlinear and non-Gaussian sequential Bayesian filtering

Michael C. Burkhart, David M. Brandman+2 more|arXiv (Cornell University)|Aug 23, 2016

Gaussian Processes and Bayesian Inference参考文献 1被引用数 5

ひとこと要約

本稿では、従来の $ p(\text{観測}|\text{状態}) $ の代わりに $ p(\text{状態}|\text{観測}) $ をモデル化する閉形式のベイジアンフィルタである判別型カルマンフィルタ（DKF）を提案する。この手法により、非線形かつ非ガウスな設定でも効率的で正確な推論が可能になる。判別型回帰（例：ガウス過程やニューラルネットワーク）を用いて $ p(z_t|x_t) $ を学習することで、高次元の観測空間における神経デコーディングにおいて、標準的なカルマンフィルターやパーティクルフィルターを上回る最先端の性能を達成する。

ABSTRACT

The Kalman filter (KF) is used in a variety of applications for computing the posterior distribution of latent states in a state space model. The model requires a linear relationship between states and observations. Extensions to the Kalman filter have been proposed that incorporate linear approximations to nonlinear models, such as the extended Kalman filter (EKF) and the unscented Kalman filter (UKF). However, we argue that in cases where the dimensionality of observed variables greatly exceeds the dimensionality of state variables, a model for $p( ext{state}| ext{observation})$ proves both easier to learn and more accurate for latent space estimation. We derive and validate what we call the discriminative Kalman filter (DKF): a closed-form discriminative version of Bayesian filtering that readily incorporates off-the-shelf discriminative learning techniques. Further, we demonstrate that given mild assumptions, highly non-linear models for $p( ext{state}| ext{observation})$ can be specified. We motivate and validate on synthetic datasets and in neural decoding from non-human primates, showing substantial increases in decoding performance versus the standard Kalman filter.

研究の動機と目的

• 高次元の観測空間において、$ p(\text{観測}|\text{状態}) $ を学習することが困難で計算コストが高くなるという、逐次ベイジアンフィルタリングの課題に対処すること。
• 事後分布の生成的モデリングから判別的モデリングへのシフトにより、非線形かつ非ガウスなシステムにおけるフィルタリングの精度と効率を向上させること。
• ガウス過程やニューラルネットワークなどの汎用的判別学習手法を、閉形式のフィルタリングフレームワークに統合できるようにすること。
• 観測次元が状態次元を著しく上回る状況において、神経デコーディングタスクにおけるDKFの優位性を示すこと。

提案手法

• 標準的なベイジアンフィルタリング式を再定式化し、$ p(z_t|x_{1:t}) \propto \frac{p(z_t|x_t)}{p(z_t)} \int p(z_t|z_{t-1})p(z_{t-1}|x_{1:t-1}) \, dz_{t-1} $ を得ることで、$ p(z_t|x_t) $ の判別的モデリングを可能にする。
• $ p(z_t|x_t) $ を非線形ガウス分布 $ \mathcal{N}(f(x_t), Q(x_t)) $ としてモデル化し、$ f $ と $ Q $ を判別的回帰手法を用いてデータから学習する。
• 標準的な状態遷移および事前分布 $ p(z_t) $ と $ p(z_t|z_{t-1}) $ を維持することで、カルマンフィルタのダイナミクスと互換性を保つ。
• 非線形性にかかわらず有効な閉形式解 $ p(z_t|x_{1:t}) $ を導出することで、数値近似を必要とせず、効率的な計算が可能になる。
• ガウス過程やフィードフォワードニューラルネットワークなどの汎用回帰モデルを $ f $ と $ Q $ に用いることで、柔軟でデータ駆動型の事後分布推定が可能になる。
• 合成データおよび非ヒト霊長類の神経デコーディングデータを用いてDKFの有効性を検証し、EKF、UKF、パーティクルフィルターと性能を比較する。

実験結果

リサーチクエスチョン

• RQ1 観測空間が高次元である状況において、$ p(\text{状態}|\text{観測}) $ をモデル化することで、従来の $ p(\text{観測}|\text{状態}) $ のモデル化に比べ、より正確で効率的なベイジアンフィルタリングが達成できるか？
• RQ2 非線形かつ非ガウスな逐次推定タスクにおいて、DKFは古典的カルマンフィルターおよびパーティクルフィルターを上回る性能を発揮するか？
• RQ3 ガウス過程やニューラルネットワークのような判別的学習手法を、閉形式のフィルタリングフレームワークに効果的に統合できるか？
• RQ4 観測次元が状態次元を著しく上回る状況では、DKFが従来のフィルタリング手法をどのように上回るか？

主な発見

• DKFは、高次元の神経データを含む神経デコーディングタスクにおいて、標準的カルマンフィルターに比べて顕著な性能向上を達成する。
• 特に $ m \gg d $ の場合に、パーティクルフィルターやEKF/UKFの変種に比べ、精度と計算効率の両面で優れた性能を示す。
• 非常に非線形な $ f $ と $ Q $ に対しても、数値近似を必要とせず、正確な閉形式推論が可能になる。
• DKF-GPおよびDKF-NNの変種は、103次元の神経入力次元を持つラサスモーターカウチスケルデータセットでも良好に動作し、高次元観測に対して頑健であることが示された。
• 観測次元が高い場合に $ p(\text{観測}|\text{状態}) $ を学習することが困難になる状況では、生成的フィルタリングの実用的代替手段として特に有効である。
• 主な利点がある一方で、DKFは一様な事後分布を仮定しており、全結合分布からの同時サンプリングができないため、多峰性や生成的モデリングの文脈では利用が制限される。