[論文レビュー] Ensemble-localized Kernel Density Estimation with Applications to the Ensemble Gaussian Mixture Filter

Andrey A. Popov, Zucchelli, Enrico M.+1 more|arXiv (Cornell University)|Aug 27, 2023

Gaussian Processes and Bayesian InferenceComputer Science被引用数 3

ひとこと要約

本稿では、アンサンブル局所的共分散推定をカーネル密度推定に組み込むことで、アンサンブルガウス・ミックスチャーフィルタ（EnGMF）を向上させる新規手法、E-局所的カーネル密度推定（ELKDE）を提案する。グローバル共分散を距離に基づく局所的共分散行列に置き換えることで、非ガウス的・非線形系における事前分布および事後分布の近似が向上し、特に小規模から中規模のアンサンブルにおいて、逐次フィルタリングの精度が向上し、過剰な保守性が低減することを示した。

ABSTRACT

The ensemble Gaussian mixture filter (EnGMF) is a non-linear filter suited to data assimilation of highly non-Gaussian and non-linear models that has practical utility in the case of a small number of samples, and theoretical convergence to full Bayesian inference in the ensemble limit. We aim to increase the utility of the EnGMF by introducing an ensemble-local notion of covariance into the kernel density estimation (KDE) step for the prior distribution. We prove that in the Gaussian case, our new ensemble-localized KDE technique is exactly the same as more traditional KDE techniques. We also show an example of a non-Gaussian distribution that can fail to be approximated by canonical KDE methods, but can be approximated well by our new KDE technique. We showcase our new KDE technique on a simple bivariate problem, showing that it has nice qualitative and quantitative properties, and significantly improves the estimate of the prior and posterior distributions for all ensemble sizes tested. We additionally show the utility of the proposed methodology for sequential filtering for the Lorenz '63 equations, achieving a significant reduction in error, and less conservative behavior in the uncertainty estimate with respect to traditional techniques.

研究の動機と目的

• 高次元・非線形な状態空間における、局所的・非ガウス的関係を捉えることができない、標準的カーネル密度推定（KDE）の限界を解決すること。
• 標準KDEにおけるグローバル共分散の仮定と、非ガウス分布における真の局所的依存関係との不一致を克服すること。
• 空間的構造を必要としないKDEの局所化フレームワークを構築し、一般の状態推定問題への応用を可能にすること。
• 局所的共分散を用いることで、事前分布および事後分布の密度推定を向上させることで、アンサンブルガウス・ミックスチャーフィルタ（EnGMF）の精度と信頼性を向上させること。
• Lorenz '63系を用いた逐次フィルタリングを通じて、合成非ガウス問題および現実世界の応用において、提案手法の有効性を示すこと。

提案手法

• 粒子間の距離を用いて各粒子ごとに局所的共分散行列を計算するE-局所化を提案し、KDEにおけるグローバル共分散を置き換える。
• 局所的共分散行列を、各粒子の局所的近傍におけるガウスカーネルの和として、局所的カーネル密度推定を定式化する。
• 近傍の粒子に対する条件付き分布を用いて局所的共分散行列を定義し、密度推定における局所的構造を保持する。
• ELKDEをEnGMFフレームワークに統合し、E-局所的EnGMF（ELEnGMF）を構築することで、粒子フィルタリングにおける事前および事後分布の近似を向上させる。
• 半径パラメータ $ r_i $ を用いた距離に基づく重み付けスキームで局所的近傍を定義し、共分散推定の安定化にための射影法を適用する。
• Lorenz '63系を用いた逐次フィルタリングに本手法を適用し、RMSEおよびSNEES指標を用いて、グローバルKDEおよび適応的KDEのベースラインと性能を比較する。

実験結果

リサーチクエスチョン

• RQ1 カーネル密度推定における局所的共分散推定は、高次元で非ガウス的な事前分布の近似を改善できるか？
• RQ2 小規模なアンサンブルサイズにおいて、E-局所的KDEは、標準KDEおよび適応的KDEと比較して、精度と不確実性のキャリブレーションにおいて優れているか？
• RQ3 非線形的・非ガウス的系において、ELEnGMFは、標準EnGMFおよびAEnGMFと比較して、事後分布の不確実性推定をより保守的でなくするか？
• RQ4 局所的共分散アプローチは、逐次データ同化タスクにおけるフィルタリング性能をどの程度向上させるか？
• RQ5 局所化半径および射影法の選択が、ELEnGMFの安定性および精度に与える影響は何か？

主な発見

• ELKDEはガウス分布の場合に標準KDEと正確に一致し、理論的整合性が裏付けられた。
• 2次元のスパイラル分布において、ELKDEは標準KDEが失敗する真の非ガウス的構造を正確に捉えた。
• Lorenz '63系において、$ N \geq 100 $ の場合、ELEnGMFはCKDEおよびAKDEよりも低いRMSEを達成し、$ N = 500 $ では理論的最小値に近づいた。
• SNEES指標から、ELEnGMFはEnGMFおよびAEnGMFよりも著しく保守的でなく、最適値1.0に近い値を示した。
• ELEnGMFは不確実性の過剰推定を低減し、逐次フィルタリングにおけるより信頼性の高い事後推定をもたらした。
• 本手法はアンサンブルサイズにかかわらず頑健であり、アンサンブル極限における完全なベイズ推論への収束が改善された。