[論文レビュー] A Block Coordinate Descent Proximal Method for Simultaneous Filtering and Parameter Estimation

Ramin Raziperchikolaei, Harish S. Bhat|arXiv (Cornell University)|Oct 16, 2018

Model Reduction and Neural Networks被引用数 4

ひとこと要約

本稿では、非線形ODEモデルにおける同時フィルタリングとパrameter推定のためのブロック座標降下プロキシ（BCD-prox）アルゴリズムを提案する。この手法は、ODEの整合性を強制する統一された目的関数を直接最小化することで、ノイズ、初期値、ハイパーパrameterへのロバスト性が高く、収束が速く、最新の手法よりも精度に優れる。40次元までのODEに対して有効である。

ABSTRACT

We propose and analyze a block coordinate descent proximal algorithm (BCD-prox) for simultaneous filtering and parameter estimation of ODE models. As we show on ODE systems with up to d=40 dimensions, as compared to state-of-the-art methods, BCD-prox exhibits increased robustness (to noise, parameter initialization, and hyperparameters), decreased training times, and improved accuracy of both filtered states and estimated parameters. We show how BCD-prox can be used with multistep numerical discretizations, and we establish convergence of BCD-prox under hypotheses that include real systems of interest.

研究の動機と目的

• ノイズが多量で高次元なデータから非線形ODEの状態とパrameterを推定する課題に対処すること。
• スプラインベース、ベイジアン、カルマンフィルタなどの既存手法が、高ノイズや不良な初期値下で性能が劣化するという限界を克服すること。
• 平滑化関数による間接的な状態再構築を避けることで、元の空間における綺麗な状態の直接学習を可能にする統合推定フレームワークの構築。
• 現実的なシステム仮説のもとで収束を保証するとともに、ハイパーパrameterへの感受性を最小限に抑えること。
• 生物学的・工学的分野の現実世界のODEシステムにおいて、観測ノイズが伴う場合にスケーラブルで効率的かつロバストな手法を提供すること。

提案手法

• 推定された状態とパrameterがODEのダイナミクスをどの程度満たしているかを測る統一された目的関数を定式化し、状態推定とパrameter推定を直接的に結びつける。
• ブロック座標降下（BCD）を用いて、状態ベクトルXとパrameterベクトルθを交互に最適化することで収束性と安定性を向上させる。
• プロキシマル手法を統合し、更新を正則化することで、悪い初期パラメータ値からの遅い、安定した進行を保証する。
• 精度向上のため、明示的オイラー離散化を基本とし、高次多段階数値スキームへの拡張を実施する。
• ガウス分布の仮定が一般的なカルマンフィルタとは異なり、バッチで、確率的分布に依存しない方法で最適化問題を解く。
• ハイパーパrameterの数を1つ（ステップサイズ）に削減することで、ロバスト性と使用のしやすさを向上させる。

実験結果

リサーチクエスチョン

• RQ1 ODEの状態とパrameterを統合的に最適化するフレームワークは、分離型または間接的手法よりも優れたロバスト性と精度を達成できるか？
• RQ2 BCD-proxは、高ノイズレベル、不良な初期値、変動するハイパーパrameter下で、最新の手法と比較してどの程度の性能を示すか？
• RQ3 高次元ODEシステム（最大d=40）に適用した場合、BCD-proxは収束性と精度をどの程度維持できるか？
• RQ4 平滑化を経由せずに、元の空間で状態を直接最適化することで、より正確なフィルタリングとパrameter推定が達成できるか？
• RQ5 プロキシマル更新の統合により、標準的なBCDや勾配ベース手法と比較して、収束挙動はどのように改善されるか？

主な発見

• BCD-proxはノイズに対するロバスト性が向上し、FitzHugh-Nagumo、Rössler、Lorenz-96などのモデルにおいて、ノイズ分散がσ² = 1.5の高ノイズ下でも予測誤差が著しく減少した。
• 訓練時間の短縮と収束速度の向上が達成され、反復回数を重ねるごとにパラメータ推定誤差が安定して低下した。アニメーションと誤差プロットで示された。
• FitzHugh-Nagumoモデルでは、ノイズレベルが変動する条件下で、平均場法やEKF法と比較して予測誤差が50%以上も低減した。
• Rösslerアトラクタでは、σ² = 1.5の条件下でも20反復目までにパラメータ推定誤差がほぼゼロに収束し、EKFや平均場法のベースラインを上回った。
• スプラインベースやベイジアン手法とは異なり、BCD-proxは異なる初期値やハイパーパラメータ下でも安定した性能を示した。
• FitzHugh-Nagumoモデルにおいて真のパラメータ（θ₀=0.5, θ₁=0.2, θ₂=3）の推定において、反復回数を重ねるごとにパラメータ誤差が単調に減少し、高い精度を達成した。