[论文解读] An adaptive ensemble filter for heavy-tailed distributions: tuning-free inflation and localization

Mathieu Le Provost, Ricardo Baptista+2 more|arXiv (Cornell University)|Oct 12, 2023

Target Tracking and Data Fusion in Sensor NetworksComputer Science被引用 3

一句话总结

本文提出一种自适应集成滤波器——EnRF，可在非线性状态空间模型中对重尾噪声实现t分布的精确推断。通过利用测度传输与l1-惩罚协方差估计的正则化EM算法，该滤波器自适应地调整膨胀与局部化参数，无需人工校准，在合成重尾场景下优于标准EnKF，同时在高斯极限下可恢复标准卡尔曼滤波器性能。

ABSTRACT

Heavy tails is a common feature of filtering distributions that results from the nonlinear dynamical and observation processes as well as the uncertainty from physical sensors. In these settings, the Kalman filter and its ensemble version - the ensemble Kalman filter (EnKF) - that have been designed under Gaussian assumptions result in degraded performance. t-distributions are a parametric family of distributions whose tail-heaviness is modulated by a degree of freedom $ν$. Interestingly, Cauchy and Gaussian distributions correspond to the extreme cases of a t-distribution for $ν= 1$ and $ν= \infty$, respectively. Leveraging tools from measure transport (Spantini et al., SIAM Review, 2022), we present a generalization of the EnKF whose prior-to-posterior update leads to exact inference for t-distributions. We demonstrate that this filter is less sensitive to outlying synthetic observations generated by the observation model for small $ν$. Moreover, it recovers the Kalman filter for $ν= \infty$. For nonlinear state-space models with heavy-tailed noise, we propose an algorithm to estimate the prior-to-posterior update from samples of joint forecast distribution of the states and observations. We rely on a regularized expectation-maximization (EM) algorithm to estimate the mean, scale matrix, and degree of freedom of heavy-tailed extit{t}-distributions from limited samples (Finegold and Drton, arXiv preprint, 2014). Leveraging the conditional independence of the joint forecast distribution, we regularize the scale matrix with an $l1$ sparsity-promoting penalization of the log-likelihood at each iteration of the EM algorithm. By sequentially estimating the degree of freedom at each analysis step, our filter can adapt its prior-to-posterior update to the tail-heaviness of the data. We demonstrate the benefits of this new ensemble filter on challenging filtering problems.

研究动机与目标

• 解决由于非线性动力学与非高斯噪声导致的集成卡尔曼滤波器（EnKF）在重尾滤波分布下性能下降的问题。
• 开发一种滤波算法，实现在t分布假设下的精确推断，该分布可推广高斯分布与柯西分布。
• 通过估计t分布的自由度与稀疏协方差结构，使膨胀与局部化参数实现数据自适应，从而消除手动调参的需要。
• 通过t分布参数ν显式建模尾部厚重性，提升对合成观测中异常值的鲁棒性。
• 将测度传输理论与集成滤波相结合，推导出保持非高斯结构的先验到后验变换。

提出的方法

• EnRF采用基于传输映射的分析步骤，通过源自t分布理论的变换将预报样本映射为后验样本，实现在t分布假设下的精确推断。
• 利用正则化期望最大化（EM）算法，从有限的集合样本中估计t分布的联合均值、尺度矩阵与自由度ν。
• EM算法在逆尺度矩阵的非对角线元素上引入l1惩罚，以促进稀疏性，借鉴图模型lasso框架实现稳健的协方差估计。
• 滤波器在每次分析步骤中顺序估计ν，使先验到后验的更新能够自适应地响应数据的尾部厚重性。
• 膨胀与局部化通过估计的尺度矩阵与ν自然嵌入：ν越大，尾部越轻，膨胀越小；而精度矩阵中的稀疏性则实现局部化。
• 算法通过Cholesky分解与线性系统求解实现，利用考虑t分布尺度与自由度的重加权公式高效计算后验样本。

实验结果

研究问题

• RQ1 能否设计一种滤波算法，在具有重尾噪声的非线性高维系统中，实现在t分布假设下的精确推断？
• RQ2 如何使膨胀与局部化实现自适应与数据驱动，而无需人工调参？
• RQ3 与标准EnKF相比，所提出的EnRF在合成观测中对异常值的鲁棒性提升程度如何？
• RQ4 能否通过正则化EM过程，从有限的集合样本中可靠估计t分布的自由度ν？
• RQ5 所提出的滤波器在ν → ∞的极限下是否能恢复标准卡尔曼滤波器，从而确认其与高斯假设的一致性？

主要发现

• EnRF在重尾设定下对异常合成观测表现出显著增强的鲁棒性，尤其在ν较小时，标准EnKF性能明显下降。
• 在ν → ∞的极限下，滤波器恢复标准卡尔曼滤波器，确认其与高斯假设的一致性。
• l1-惩罚EM算法可从有限样本中稳定估计稀疏精度矩阵，提升高维设定下的协方差估计性能。
• 自适应膨胀自然源于估计的ν：ν越大，尾部越轻，膨胀越小；ν越小，则极端观测的影响越大。
• 通过在逆尺度矩阵上施加l1惩罚，实现隐式局部化，无需人工调参即可减少虚假相关性。
• 在具有挑战性的滤波问题上的实证结果表明，EnRF在重尾噪声下相比标准EnKF，均方根误差更小且可靠性更高。