[论文解读] A New Distribution-Free Concept for Representing, Comparing, and Propagating Uncertainty in Dynamical Systems with Kernel Probabilistic Programming

Jia‐Jie Zhu, Krikamol Muandet+2 more|arXiv (Cornell University)|Nov 25, 2019

Probabilistic and Robust Engineering Design参考文献 19被引用 4

一句话总结

本文提出了一种无需分布假设的框架，通过再生核希尔伯特空间（RKHS）中的核均值嵌入（KME），用于表示、比较和传播动力系统中的不确定性。通过将概率分布嵌入RKHS，该方法可在不假设参数族的前提下实现不确定性的代数运算，主要贡献包括一种用于高效不确定性传播的递归缩减集算法，以及一种无需分布假设的统一度量以进行模型比较。

ABSTRACT

This work presents the concept of kernel mean embedding and kernel probabilistic programming in the context of stochastic systems. We propose formulations to represent, compare, and propagate uncertainties for fairly general stochastic dynamics in a distribution-free manner. The new tools enjoy sound theory rooted in functional analysis and wide applicability as demonstrated in distinct numerical examples. The implication of this new concept is a new mode of thinking about the statistical nature of uncertainty in dynamical systems.

研究动机与目标

• 开发一种无需假设高斯等参数族的无需分布假设方法，用于表示随机动力系统中的不确定性。
• 通过RKHS中的度量，基于状态分布对系统模型进行定量比较，且不依赖于分布假设。
• 提供一种可扩展的方法，用于在非线性和非高斯系统中随时间高效传播不确定性，避免蒙特卡洛方法中样本数量指数增长的常见问题。
• 在基于核方法和概率编程的统一函数分析框架下，统一不确定性表示、比较与传播。
• 通过涉及非线性动力学和非高斯噪声的数值例子，展示该方法的应用性，结果表明其在模型拟合方面优于传统方法（如LSQ和PVE）。

提出的方法

• 通过核均值嵌入（KME）将系统状态的概率分布表示为再生核希尔伯特空间（RKHS）中的元素，从而实现不确定性的非参数表示。
• 利用RKHS度量通过测量其嵌入状态分布之间的距离，对系统模型进行定量比较，且无需参数假设。
• 通过维护一个固定大小的支持点集（缩减集），并求解二次优化问题，在每个时间步近似完整分布嵌入，实现不确定性的递归传播。
• 应用递归缩减集算法（算法2），通过迭代更新核展开系数，在控制计算成本的同时保持精度。
• 利用KME的统计一致性结果，确保随着样本量增加，嵌入分布收敛于真实分布。
• 在数值实验中使用带宽为0.5的高斯核，计算RKHS距离以进行模型比较和误差评估。

实验结果

研究问题

• RQ1 在非线性和非高斯动力系统中，如何在不假设特定参数族的前提下表示不确定性？
• RQ2 是否存在一种无需分布假设的度量，用于比较不同动力系统模型的统计行为？
• RQ3 是否能够以计算高效的方式在时间上传播不确定性，而不会导致样本数量指数增长？
• RQ4 与标准蒙特卡洛方法和对角估计相比，所提出的递归缩减集方法在RKHS近似误差方面的表现如何？
• RQ5 核概率编程在多大程度上可以统一控制与系统辨识任务中不确定性的处理？

主要发现

• 所提出的方法通过RKHS中核嵌入之间的距离，实现了无需分布假设的系统模型比较，图5显示PVE估计模型（红色）与真实模型的距离低于LSQ估计模型（黑色）。
• 递归缩减集算法（算法2）在近似误差方面相比对角估计（算法1）实现了更快的收敛速度，如图6（右）所示，在10次运行中误差的均值和方差均更低。
• 该方法成功地在非平稳、非高斯系统（具有时变均值的均匀噪声）中传播了不确定性，表现出对任意和复杂噪声分布的鲁棒性。
• 核嵌入框架允许在不假设特定分布族的前提下进行定量模型评估，从而实现PVE和LSQ等在不确定性表示上不同的模型之间的公平比较。
• 使用递归缩减集方法，RKHS度量中的近似误差 $\|\hat{\mu}_{\tilde{x}_t} - \mu_{x_t}\|_{\mathcal{H}}^2$ 显著降低，表明在表示时变状态分布方面精度得到提升。
• 数值结果证实，该方法在固定大小展开下保持了高精度，避免了长时域仿真中样本集不断增长带来的计算负担。