[論文レビュー] Kernel embedding of maps for sequential Bayesian inference: The variational mapping particle filter

Manuel Pulido, Peter Jan vanLeeuwen|arXiv (Cornell University)|May 29, 2018

Target Tracking and Data Fusion in Sensor Networks参考文献 14被引用数 8

ひとこと要約

本稿では、カーネル埋め込みを用いた写像を用いて、中間密度と事後分布の間のカルバック・ライブラー発散を最小化する変分写像粒子フィルタ（MPF）を提案する。この手法は、リサンプリングを必要とせず、高次元状態推定を効率的に行うための逐次モンテカルロ法である。ローレンツ-63 や ローレンツ-96 といったカオス的システムですら、部分的で疎な観測や長い同調期間に対しても、有効粒子数がほぼ一定で安定した性能を示す。

ABSTRACT

In this work, a novel sequential Monte Carlo filter is introduced which aims at efficient sampling of high-dimensional state spaces with a limited number of particles. Particles are pushed forward from the prior to the posterior density using a sequence of mappings that minimizes the Kullback-Leibler divergence between the posterior and the sequence of intermediate densities. The sequence of mappings represents a gradient flow. A key ingredient of the mappings is that they are embedded in a reproducing kernel Hilbert space, which allows for a practical and efficient algorithm. The embedding provides a direct means to calculate the gradient of the Kullback-Leibler divergence leading to quick convergence using well-known gradient-based stochastic optimization algorithms. Evaluation of the method is conducted in the chaotic Lorenz-63 system, the Lorenz-96 system, which is a coarse prototype of atmospheric dynamics, and an epidemic model that describes cholera dynamics. No resampling is required in the mapping particle filter even for long recursive sequences. The number of effective particles remains close to the total number of particles in all the experiments.

研究の動機と目的

• 高次元で非線形的かつカオス的な状態空間モデルにおける粒子フィルタのフィルタ劣化と粒子貧困を解消すること。
• リサンプリングを必要とし、再帰的推論において重みの劣化に苦しむ従来の粒子フィルタの限界を克服すること。
• 限られた数の粒子で高い有効粒子数と正確な状態推定を維持する手法を開発すること。
• 部分的でノイズの多い観測と複雑な力学的制約を持つシステムにおいてもロバストな推論を可能にすること。
• リサンプリングを回避しながらも高次元状態空間で精度を保つ、スケーラブルで勾配に基づくサンプリングフレームワークを提供すること。

提案手法

• 事前分布から事後分布への粒子の写像を、一連の決定的写像を用いて行う逐次モンテカルロフィルタを提案する。
• 中間密度と真の事後分布の間のカルバック・ライブラー発散を最小化する勾配フローにより、写像を導出する。
• 再生核ヒルベルト空間（RKHS）を用いて写像を埋め込み、KL 発散の勾配を解析的に計算可能にする。
• スティン変分勾配降下法の原則を用い、勾配情報に基づいて繰り返し粒子位置を更新する。
• 事後分布を、学習された写像を通じて事前分布を押し出す一連の写像で近似する変分推論フレームワークを採用する。
• カーネルベースの関数近似を用いて写像関数を表現し、密度推定を明示的に行わずに勾配を効率的に計算する。

実験結果

リサーチクエスチョン

• RQ1 高次元で非線形的かつカオス的なシステムにおいて、リサンプリングを伴わずに粒子フィルタが高い有効サンプルサイズを維持できるか。
• RQ2 部分的でノイズの多い観測を持つ状態空間モデルにおいて、カーネル埋め込みを用いた変分写像が事後分布をどれほど正確に近似できるか。
• RQ3 疎な観測と長い同調期間（Δt = 0.1）を想定した場合、変分写像粒子フィルタの性能はいかがなものか。
• RQ4 RMSE と粒子の分散の観点から、標準的な粒子フィルタ（例：SIR）や集合カルマンフィルタ（EnKF）と比較して、本手法の性能はどの程度か。
• RQ5 カーネル帯域幅の選択が、異なる力学的状態領域におけるフィルタの精度とロバスト性にどの程度影響を与えるか。

主な発見

• MPF は、すべての実験において、長時間の再帰的処理後も有効粒子数がほぼ一定（全粒子数に近い）を維持しており、フィルタ劣化が生じないことを示している。
• 変数 x のみが観測されるローレンツ-63 システムで 5 個の粒子を用いた場合、MPF は真の状態を正確に追跡するが、SIR フィルタは数サイクル後に完全に発散する。
• Δt = 0.1（100 ステップ）の長い同調期間において、MPF は低 RMSE を維持し安定した性能を示すが、SIR フィルタは完全に失敗する。
• 40 変数のローレンツ-96 システムで 20 個の観測を用いた場合、MPF は RMSE において確率的 EnKF を上回り、粒子の分散も良好に維持する。
• ローレンツ-96 システムにおいて、カーネル帯域幅を α=2 から α=100 に変更しても RMSE にほとんど変化がなく、帯域幅選択に対してロバストである。
• ローレンツ-63 システムで z のみが観測される場合、MPF は一時的な故障後、速やかに全状態を回復するが、SIR フィルタは追跡を失い、回復できない。