[论文解读] A Score-based Nonlinear Filter for Data Assimilation

Feng Bao, Zezhong Zhang+1 more|arXiv (Cornell University)|Jun 15, 2023

Model Reduction and Neural Networks被引用 7

一句话总结

本文提出了一种基于评分的非线性滤波器，利用扩散模型克服传统粒子滤波器在高维系统中面临的不稳定性和维度灾难问题。通过学习一个评分函数来表示滤波密度，并使用反向时间扩散采样，该方法可生成无限多的样本，从而在高维随机动力系统中实现准确的非高斯后验估计。

ABSTRACT

We introduce a score-based generative sampling method for solving the nonlinear filtering problem with robust accuracy. A major drawback of existing nonlinear filtering methods, e.g., particle filters, is the low stability. To overcome this issue, we adopt the diffusion model framework to solve the nonlinear filtering problem. In stead of storing the information of the filtering density in finite number of Monte Carlo samples, in the score-based filter we store the information of the filtering density in the score model. Then, via the reverse-time diffusion sampler, we can generate unlimited samples to characterize the filtering density. Moreover, with the powerful expressive capabilities of deep neural networks, it has been demonstrated that a well trained score in diffusion model can produce samples from complex target distributions in very high dimensional spaces. Extensive numerical experiments show that our score-based filter could potentially address the curse of dimensionality in very high dimensional problems.

研究动机与目标

• 解决传统粒子滤波器在非线性滤波问题中面临的不稳定性与有限样本限制。
• 通过用学习到的评分模型替代基于粒子的表示方法，克服高维状态估计中的维度灾难问题。
• 利用深度生成建模技术，实现对非高斯滤波密度的鲁棒、高保真近似。
• 利用基于评分的生成模型的表达能力，表示复杂滤波分布，而无需依赖高斯假设。

提出的方法

• 在扩散模型框架内构建滤波问题，其中滤波密度通过学习到的评分函数隐式表示。
• 使用前向SDE将真实状态分布逐步破坏为标准高斯分布，从而实现评分模型的训练。
• 通过去噪损失训练评分模型，以最小化在每个噪声水平下真实评分与预测评分之间的差异。
• 使用训练好的评分模型进行反向时间SDE采样，从滤波密度中生成无限多的样本。
• 采用Euler-Maruyama格式对反向时间SDE进行离散化，以实现实际应用，且时间步长可调。
• 引入权重函数λ(τ)和噪声调度βτ，以平衡扩散过程中的训练损失。

Figure 1: The overview of the proposed score-based filter

实验结果

研究问题

• RQ1 基于评分的生成模型能否在高维非线性系统中有效表示复杂且非高斯的滤波密度？
• RQ2 在高维条件下，所提出的基于评分的滤波器是否在稳定性和准确性方面优于传统粒子滤波器？
• RQ3 扩散模型框架在多大程度上能够缓解数据同化任务中的维度灾难问题？
• RQ4 学习到的评分模型在不同非线性动力系统和观测模型之间具有多大程度的泛化能力？
• RQ5 反向时间扩散采样过程能否仅从一组初始高斯样本可靠地重建滤波密度？

主要发现

• 基于评分的滤波器在传统粒子滤波器因退化和不稳定性而失效的高维滤波问题中表现出稳健性能。
• 该方法通过深度评分模型成功学习了复杂的非高斯滤波密度，实现了无需高斯假设的精确后验近似。
• 大量数值实验表明，该滤波器具备处理高维系统的能力，暗示其可能缓解维度灾难问题。
• 评分模型的使用使得可生成无限多的样本，从而克服了粒子滤波器固有的有限样本限制。
• 由于条件评分的解析形式，训练损失在计算上是可行的，可通过蒙特卡洛采样实现高效优化。
• 反向时间SDE采样过程生成的样本与真实滤波密度高度吻合，经经验分布匹配验证。

Figure 2: Example 1. Double-well potential.