[論文レビュー] An adaptive ensemble filter for heavy-tailed distributions: tuning-free inflation and localization

Mathieu Le Provost, Ricardo Baptista+2 more|arXiv (Cornell University)|Oct 12, 2023

Target Tracking and Data Fusion in Sensor NetworksComputer Science被引用数 3

ひとこと要約

本稿では、非線形状態空間モデルにおける重たい尾を持つノイズの下で、スチューデントt分布に対する正確な推論を可能にする、適応的アンサンブルフィルタ（EnRF）を提案する。測度変換とl1正則化付きEMアルゴリズム（共分散推定にl1ペナルティを適用）を活用することで、手動のキャリブレーションを必要とせず、インフレーションと局所化を適応的に調整する。合成の重たい尾を持つ状況において、標準EnKFを上回る性能を発揮するとともに、ガウス分布の極限ではカルマンフィルタの性能を回復する。

ABSTRACT

Heavy tails is a common feature of filtering distributions that results from the nonlinear dynamical and observation processes as well as the uncertainty from physical sensors. In these settings, the Kalman filter and its ensemble version - the ensemble Kalman filter (EnKF) - that have been designed under Gaussian assumptions result in degraded performance. t-distributions are a parametric family of distributions whose tail-heaviness is modulated by a degree of freedom $ν$. Interestingly, Cauchy and Gaussian distributions correspond to the extreme cases of a t-distribution for $ν= 1$ and $ν= \infty$, respectively. Leveraging tools from measure transport (Spantini et al., SIAM Review, 2022), we present a generalization of the EnKF whose prior-to-posterior update leads to exact inference for t-distributions. We demonstrate that this filter is less sensitive to outlying synthetic observations generated by the observation model for small $ν$. Moreover, it recovers the Kalman filter for $ν= \infty$. For nonlinear state-space models with heavy-tailed noise, we propose an algorithm to estimate the prior-to-posterior update from samples of joint forecast distribution of the states and observations. We rely on a regularized expectation-maximization (EM) algorithm to estimate the mean, scale matrix, and degree of freedom of heavy-tailed extit{t}-distributions from limited samples (Finegold and Drton, arXiv preprint, 2014). Leveraging the conditional independence of the joint forecast distribution, we regularize the scale matrix with an $l1$ sparsity-promoting penalization of the log-likelihood at each iteration of the EM algorithm. By sequentially estimating the degree of freedom at each analysis step, our filter can adapt its prior-to-posterior update to the tail-heaviness of the data. We demonstrate the benefits of this new ensemble filter on challenging filtering problems.

研究の動機と目的

• 非線形ダイナミクスと非ガウス分布ノイズによって生じる重たい尾を持つフィルタリング分布の下で、アンサンブルカルマンフィルタ（EnKF）の性能が低下する問題に対処すること。
• ガウス分布とコーシー分布の両方を一般化するt分布の仮定のもとで正確な推論を可能にするフィルタリングアルゴリズムの開発。
• t分布の自由度とスparserな共分散構造の推定を通じて、インフレーションと局所化パラメータの手動キャリブレーションを不要にする、データに適応する手法の導入。
• t分布の自由度νを用いて尾の重さを明示的にモデル化することで、合成観測値における外れ値に対するロバストネスの向上。
• 測度変換理論とアンサンブルフィルタリングを統合し、非ガウス構造を保ったまま事前分布から事後分布への変換を導出すること。

提案手法

• EnRFは、t分布理論に基づくトランスポートマップを用いた解析ステップを採用し、予測サンプルをt分布仮定のもとで正確な推論を可能にする事後サンプルに変換する。
• 限られたアンサンブルサンプルからt分布の同時平均、スケール行列、自由度νを、正則化付き期待最大化（EM）アルゴリズムを用いて推定する。
• EMアルゴリズムは、逆スケール行列の非対角成分にl1ペナルティを適用することで、スパース性を促進し、頑健な共分散推定のためのグラフィカルラッソフレームワークを応用する。
• フィルタは各解析ステップでνを逐次推定し、事前分布から事後分布への更新が観測されたデータの尾の重さに適応可能にする。
• インフレーションと局所化は、推定されたスケール行列とνに内蔵されている：νが大きいほど尾が軽くなり、インフレーションが減少する。一方、精度行列のスパース性は局所化を強制する。
• アルゴリズムはコレスキー分解と線形方程式系の解法を用いて実装され、t分布のスケールと自由度を考慮した再重み付け式を通じて、効率的に事後サンプルを計算する。

実験結果

リサーチクエスチョン

• RQ1 非線形的かつ高次元のシステムにおいて、重たい尾を持つノイズの下で、t分布仮定のもとで正確な推論を可能にするフィルタリングアルゴリズムを設計できるか？
• RQ2 インフレーションと局所化を手動のキャリブレーションを必要とせず、データ駆動的かつ適応的にできるか？
• RQ3 提案されたEnRFは、標準EnKFと比較して、合成観測値における外れ値に対するロバストネスをどの程度向上させるか？
• RQ4 限られたアンサンブルサンプルから、正則化付きEM手順を用いてt分布の自由度νを信頼性高く推定できるか？
• RQ5 提案されたフィルタはν → ∞の極限で標準カルマンフィルタに回復するか？ガウス仮定との一貫性を確認できるか？

主な発見

• EnRFは、特にνが小さい場合に顕著に外れ値に強い性能を示し、重たい尾を持つ状況下で合成観測値に対するロバストネスが著しく向上した。
• ν → ∞の極限で、EnRFは標準カルマンフィルタに回復し、ガウス仮定との一貫性が確認された。
• l1ペナルティ付きEMアルゴリズムにより、限られたサンプルからスパースな精度行列の安定的推定が可能となり、高次元設定における共分散推定が改善された。
• 適応的インフレーションは推定されたνから自然に導かれる：νが大きいほど尾が軽くなり、インフレーションが減少する。逆にνが小さいと極端な観測値の影響が増大する。
• 逆スケール行列へのl1ペナルティによるスパース性促進により、手動の局所化調整を必要とせず、誤った相関を低減する局所化が暗黙的に実現された。
• 挑戦的なフィルタリング問題に対する実験的結果から、EnRFが、重たい尾を持つノイズ下で、標準EnKFに比べてルート平均二乗誤差と信頼性の両面で優れた性能を発揮することが確認された。