[论文解读] Learning particle swarming models from data with Gaussian processes

Jinchao Feng, Kulick, Charles+2 more|arXiv (Cornell University)|Jun 4, 2021

Gaussian Processes and Bayesian Inference参考文献 53被引用 4

一句话总结

本文提出一种基于高斯过程的方法，从稀疏、噪声较大的轨迹数据中学习二阶粒子群模型，实现径向相互作用核的非参数推断以及摩擦力的参数估计。该方法在再生核希尔伯特空间中建立了最优收敛速率，并提供不确定性量化，理论保证在可恢复性条件（强制性条件）下成立。

ABSTRACT

Interacting particle or agent systems that display a rich variety of swarming behaviours are ubiquitous in science and engineering. A fundamental and challenging goal is to understand the link between individual interaction rules and swarming. In this paper, we study the data-driven discovery of a second-order particle swarming model that describes the evolution of $N$ particles in $\mathbb{R}^d$ under radial interactions. We propose a learning approach that models the latent radial interaction function as Gaussian processes, which can simultaneously fulfill two inference goals: one is the nonparametric inference of {the} interaction function with pointwise uncertainty quantification, and the other one is the inference of unknown scalar parameters in the non-collective friction forces of the system. We formulate the learning problem as a statistical inverse problem and provide a detailed analysis of recoverability conditions, establishing that a coercivity condition is sufficient for recoverability. Given data collected from $M$ i.i.d trajectories with independent Gaussian observational noise, we provide a finite-sample analysis, showing that our posterior mean estimator converges in a Reproducing kernel Hilbert space norm, at an optimal rate in $M$ equal to the one in the classical 1-dimensional Kernel Ridge regression. As a byproduct, we show we can obtain a parametric learning rate in $M$ for the posterior marginal variance using $L^{\infty}$ norm, and the rate could also involve $N$ and $L$ (the number of observation time instances for each trajectory), depending on the condition number of the inverse problem. Numerical results on systems that exhibit different swarming behaviors demonstrate efficient learning of our approach from scarce noisy trajectory data.

研究动机与目标

• 解决从有限、噪声较大的轨迹数据中发现二阶粒子系统相互作用规律的逆问题。
• 在不假设特定函数形式的前提下，实现径向相互作用核的非参数推断。
• 同时估计非集体摩擦力中未知的标量参数。
• 在最小假设下，为可恢复性与收敛速率提供严格的理论保证。
• 为推断出的相互作用函数提供逐点不确定性量化。

提出的方法

• 将潜在的径向相互作用函数建模为高斯过程先验，以实现带不确定性量化的非参数推断。
• 采用算子理论框架，将学习问题表述为统计逆问题。
• 使用强制性条件作为相互作用核可恢复性的充分条件。
• 推导出后验均值估计器，其在再生核希尔伯特空间范数下的收敛速率达到最优，与经典一维核岭回归速率一致。
• 利用 $L^\infty$ 范数分析后验边际方差，表明在 $M$ 上收敛速率为参数型，其依赖关系可能通过逆问题的条件数体现于 $N$ 和 $L$。
• 将该框架应用于具有多样化群集行为的系统，证明其在低数据、高噪声环境下的鲁棒性。

实验结果

研究问题

• RQ1 我们能否从稀疏、噪声较大的轨迹数据中，非参数地推断出二阶粒子群系统中的径向相互作用核？
• RQ2 在该逆问题中，何种条件可确保相互作用函数的理论可恢复性？
• RQ3 后验均值估计器的收敛速度如何？在有限样本设置下是否能达到最优速率？
• RQ4 我们能否为推断出的相互作用核和摩擦参数获得可靠的不确定性量化？
• RQ5 轨迹数 $M$、粒子数 $N$ 和观测时间点数 $L$ 如何影响学习精度与方差？

主要发现

• 后验均值估计器在再生核希尔伯特空间范数下，以最优速率收敛于 $M$，其收敛速率与经典一维核岭回归一致。
• 在 $L^\infty$ 范数下，后验边际方差以参数型速率收敛于 $M$，其依赖关系可能通过逆问题的条件数体现于 $N$ 和 $L$。
• 强制性条件是确保相互作用核可恢复性的充分条件，为可识别性提供了理论基础。
• 数值实验验证了该方法在从稀缺且噪声较大的轨迹数据中学习多样化群集行为方面的有效性。
• 该方法为相互作用核提供了逐点不确定性量化，使对学习动力学的置信度评估成为可能。
• 该框架在统一的贝叶斯设定下，成功推断出非参数相互作用函数与未知标量摩擦参数。