[論文レビュー] Iterated Block Particle Filter for High-dimensional Parameter Learning: Beating the Curse of Dimensionality

Ning Ning, Edward L. Ionides|arXiv (Cornell University)|Oct 20, 2021

Bayesian Methods and Mixture Models参考文献 38被引用数 11

ひとこと要約

本稿では、非線形で非ガウス的かつ部分的に観測可能な確率過程における高次元パラメータ学習のための新規アルゴリズム、反復ブロック粒子フィルタ（IBPF）を提案する。粒子フィルタリングフレームワーク内にブロック単位のリサンプリングと反復フィルタリングを組み合わせることで、IBPFは次元の呪いを効果的に軽減し、麻疹の伝播モデルにおける既存手法（反復アンサンブルカルマンフィルタおよび反復フィルタリング）と比較して、収束性と尤度最大化の面で優れた性能を示す。

ABSTRACT

Parameter learning for high-dimensional, partially observed, and nonlinear stochastic processes is a methodological challenge. Spatiotemporal disease transmission systems provide examples of such processes giving rise to open inference problems. We propose the iterated block particle filter (IBPF) algorithm for learning high-dimensional parameters over graphical state space models with general state spaces, measures, transition densities and graph structure. Theoretical performance guarantees are obtained on beating the curse of dimensionality (COD), algorithm convergence, and likelihood maximization. Experiments on a highly nonlinear and non-Gaussian spatiotemporal model for measles transmission reveal that the iterated ensemble Kalman filter algorithm (Li et al. (2020)) is ineffective and the iterated filtering algorithm (Ionides et al. (2015)) suffers from the COD, while our IBPF algorithm beats COD consistently across various experiments with different metrics.

研究の動機と目的

• 部分的に観測可能で非線形的かつ非ガウス的な確率過程における高次元パラメータ推論の課題に対処すること。
• 従来の粒子フィルタリングおよび反復フィルタリング手法に見られる次元の呪い（COD）を克服すること。
• 一般状態空間および任意のグラフ構造を有するグラフィカルな状態空間モデルに適応可能なスケーラブルで理論的裏付けのあるアルゴリズムを開発すること。
• 感染症伝播モデルなどの複雑な時空間的システムにおいて、改善された収束性と尤度最大化を達成すること。

提案手法

• IBPFアルゴリズムは、高次元パラメータ空間をブロックに分割することで、局所的リサンプリングを可能にし、粒子の劣化を低減する。
• 粒子フィルタ推定値を用いてパラメータブロックを逐次的に更新する反復フィルタリングを適用し、反復を重ねることで事後分布の近似を改善する。
• 順次モンテカルロの原則に従い、ブロック単位のリサンプリングを用いることで、高次元設定における粒子の多様性を維持し、分散を低減する。
• 一般状態空間、任意の遷移密度、および柔軟なグラフ構造をサポートし、複雑な時空間的モデルへの応用を可能にする。
• アルゴリズムの収束性、尤度最大化、および次元の呪いの克服に関する理論的保証を導出する。
• パラメータ更新をブロック間で分離することで、計算効率が高く、高次元システムへのスケーラビリティを確保する設計である。

実験結果

リサーチクエスチョン

• RQ1 粒子フィルタリング手法は、非線形的で非ガウス的なモデルにおける高次元パラメータ学習において、次元の呪いを効果的に軽減できるか？
• RQ2 IBPFの性能は、高次元で非ガウス的設定下における反復アンサンブルカルマンフィルタおよび標準的な反復フィルタリングと比べてどのように異なるか？
• RQ3 ブロック単位のリサンプリング戦略は、複雑なグラフィカルな状態空間モデルにおける収束性と尤度推定の向上にどの程度寄与するか？
• RQ4 IBPFアルゴリズムは、多様な時空間的モデル構造およびパラメータ次元において、理論的整合性とスケーラビリティを維持できるか？
• RQ5 IBPFは、高次元で部分的に観測可能な動的特性を示す実世界のシステム（例：麻疹の伝播）において、信頼性の高い推論を達成できるか？

主な発見

• 反復アンサンブルカルマンフィルタは、強い非線形性と非ガウス性のため、麻疹の伝播モデルでは収束しなかった。
• 標準的な反復フィルタリングは次元の呪いに苦しんでおり、パラメータ次元が増加するにつれて性能が劣化した。
• IBPFは、対数尤度やパラメータ回復の正確性といった複数の指標において、両ベンチマークを一貫して上回った。
• 理論的分析により、IBPFが次元の呪いを克服でき、収束性と尤度最大化の保証が得られることを確認した。
• 実験的結果から、IBPFは高次元で複雑なシステムにおいても、安定した粒子の多様性と正確な事後分布推定を維持していることが示された。
• ブロック単位のリサンプリング戦略は、全パラメータのリサンプリングと比較して、粒子の効率性を著しく向上させ、劣化を低減した。