[論文レビュー] Learning particle swarming models from data with Gaussian processes

Jinchao Feng, Kulick, Charles+2 more|arXiv (Cornell University)|Jun 4, 2021

Gaussian Processes and Bayesian Inference参考文献 53被引用数 4

ひとこと要約

本稿では、疎でノイズの多い軌道データから2次粒子集団モデルを学習するためのガウス過程ベースの手法を提案する。非パラメトリックな径方向相互作用カーネルの推定と、摩擦力のパラメトリックな推定を可能にし、再生核ヒルベルト空間（Reproducing Kernel Hilbert Space）における最適収束速度を確立するとともに、可解性のための強制性条件（coercivity condition）の下で理論的保証を提供する。

ABSTRACT

Interacting particle or agent systems that display a rich variety of swarming behaviours are ubiquitous in science and engineering. A fundamental and challenging goal is to understand the link between individual interaction rules and swarming. In this paper, we study the data-driven discovery of a second-order particle swarming model that describes the evolution of $N$ particles in $\mathbb{R}^d$ under radial interactions. We propose a learning approach that models the latent radial interaction function as Gaussian processes, which can simultaneously fulfill two inference goals: one is the nonparametric inference of {the} interaction function with pointwise uncertainty quantification, and the other one is the inference of unknown scalar parameters in the non-collective friction forces of the system. We formulate the learning problem as a statistical inverse problem and provide a detailed analysis of recoverability conditions, establishing that a coercivity condition is sufficient for recoverability. Given data collected from $M$ i.i.d trajectories with independent Gaussian observational noise, we provide a finite-sample analysis, showing that our posterior mean estimator converges in a Reproducing kernel Hilbert space norm, at an optimal rate in $M$ equal to the one in the classical 1-dimensional Kernel Ridge regression. As a byproduct, we show we can obtain a parametric learning rate in $M$ for the posterior marginal variance using $L^{\infty}$ norm, and the rate could also involve $N$ and $L$ (the number of observation time instances for each trajectory), depending on the condition number of the inverse problem. Numerical results on systems that exhibit different swarming behaviors demonstrate efficient learning of our approach from scarce noisy trajectory data.

研究の動機と目的

• 限られたノイズの多い軌道データから2次粒子系における相互作用則を同定する逆問題に対処すること。
• 特定の関数形を仮定せずに、径方向相互作用カーネルの非パラメトリック推定を可能にすること。
• 非集団的摩擦力に含まれる未知のスカラー係数パラメータを同時に推定すること。
• 最小限の仮定の下で、同定可能性と収束速度に関する厳密な理論的保証を提供すること。
• 推定された相互作用関数に対して、点ごとの不確実性の定量的評価を提供すること。

提案手法

• 非パラメトリック推定と不確実性の定量的評価を可能にするために、潜在的な径方向相互作用関数をガウス過程事前分布としてモデル化する。
• 作用素理論的枠組みを用いて、学習問題を統計的逆問題として定式化する。
• 相互作用カーネルの可解性を保証するための十分条件として、強制性条件を用いる。
• 再帰的核ヒルベルト空間ノルムにおいて、最適収束速度を達成する事後平均推定器を導出する。これは古典的な1次元カーネルリッジ回帰の速度と一致する。
• 事後確率的分散のマージナル分布を$L^\infty$ノルムで分析し、条件数に依存して$N$と$L$に依存する可能性のある、パラメトリックな収束速度を示す。
• 多様な集団的行動を示す系にこのフレームワークを適用し、低データ量・ノイズの強い環境下でも高いロバスト性を示す。

実験結果

リサーチクエスチョン

• RQ1 疎でノイズの多い軌道データから、2次粒子集団系における径方向相互作用カーネルを非パラメトリックに推定できるか？
• RQ2 この逆問題における相互作用関数の理論的可解性を保証する条件は何か？
• RQ3 事後平均推定器の収束速度はどの程度で、有限サンプル設定において最適速度に達するか？
• RQ4 推定された相互作用カーネルおよび摩擦パラメータに対して、信頼性の高い不確実性の定量的評価が可能か？
• RQ5 軌道数$M$、粒子数$N$、観測時刻数$L$は、学習精度と分散にどのように影響するか？

主な発見

• 事後平均推定器は、再帰的核ヒルベルト空間ノルムにおいて$M$に関して最適収束速度を達成し、古典的な1次元カーネルリッジ回帰の速度と一致する。
• 事後マージナル分散は、$L^\infty$ノルムにおいて$M$に関してパラメトリックな収束速度を示す。この収束速度は、逆問題の条件数に依存して$N$と$L$に依存する可能性がある。
• 強制性条件が、相互作用カーネルの可解性を保証する十分条件である。識別可能性の理論的基盤を提供する。
• 数値実験により、本手法が、限られたデータとノイズの強い軌道データから多様な集団的行動を効果的に学習できることを確認した。
• 本手法は、推定された相互作用関数に対して、点ごとの不確実性の定量的評価を提供し、学習された力学の信頼性を評価可能にする。
• 統一的なベイズ枠組みにおいて、非パラメトリックな相互作用関数と未知のスカラー摩擦パラメータの両方を効果的に推定できた。