[論文レビュー] Learning interaction kernels in stochastic systems of interacting particles from multiple trajectories

Fei Lu, Mauro Maggioni+1 more|arXiv (Cornell University)|Jul 30, 2020

Opinion Dynamics and Social Influence参考文献 49被引用数 5

ひとこと要約

本稿では、複数の観測軌道から確率的相互作用粒子系における相互作用カーネルを推定する非パrametricで正則化された最尤推定量を提案する。コercivity 条件の下で一貫性と近似的最適な収束速度（1次元非パラメトリック回帰と一致）を確立し、離散化誤差は1/2次の上界を有する。並列アルゴリズムと数値実験を通じて、意見形成モデルおよび Lennard-Jones モデルへの有効性を示している。

ABSTRACT

We consider stochastic systems of interacting particles or agents, with dynamics determined by an interaction kernel which only depends on pairwise distances. We study the problem of inferring this interaction kernel from observations of the positions of the particles, in either continuous or discrete time, along multiple independent trajectories. We introduce a nonparametric inference approach to this inverse problem, based on a regularized maximum likelihood estimator constrained to suitable hypothesis spaces adaptive to data. We show that a coercivity condition enables us to control the condition number of this problem and prove the consistency of our estimator, and that in fact it converges at a near-optimal learning rate, equal to the min-max rate of $1$-dimensional non-parametric regression. In particular, this rate is independent of the dimension of the state space, which is typically very high. We also analyze the discretization errors in the case of discrete-time observations, showing that it is of order $1/2$ in terms of the time gaps between observations. This term, when large, dominates the sampling error and the approximation error, preventing convergence of the estimator. Finally, we exhibit an efficient parallel algorithm to construct the estimator from data, and we demonstrate the effectiveness of our algorithm with numerical tests on prototype systems including stochastic opinion dynamics and a Lennard-Jones model.

研究の動機と目的

• 確率的相互作用粒子系における複数の独立した軌道から相互作用カーネルを学習する逆問題に対処すること。
• 高次元状態空間にかかわらず一貫性があり、近似的最適な学習レートを達成できる非パラメトリック推定手法を開発すること。
• コercivity 条件を用いて逆問題の条件数を制御し、推定量の安定性を保証すること。
• 離散時間観測設定における離散化誤差の解析と上界の導出。誤差が大きい場合には、サンプリング誤差および近似誤差を上回り、収束を妨げる。
• データから推定量を構築するための効率的な並列アルゴリズムの設計と実装。

提案手法

• データとダイナミクスに適応した仮説空間上での正則化された最尤推定（MLE）として推定問題を定式化する。
• 推定量がシステムの確率的ダイナミクスのもとで適切に定義され、安定することを保証するため、ダイナミクスに適応した測度および関数空間を導入する。
• 条件数の制御と推定量の一貫性の保証のため、コercivity 条件を採用する。
• 全誤差をサンプリング誤差、近似誤差、離散化誤差の3つに分解し、MLE の誤差バウンドを導出する。
• 確率積分のモーメントバウンドと集中不等式を用いて、経験的汎関数とその期待値との乖離を制御する。
• 複数の軌道からの推定量の効率的計算を可能にする並列アルゴリズムを開発し、高次元系へのスケーラビリティを実現する。

実験結果

リサーチクエスチョン

• RQ1 非パラメトリック推定量は、確率的粒子系の複数の独立した軌道から、相互作用カーネルを一貫して学習できるか？
• RQ2 この逆問題で達成可能な最適な学習レートは何か？また、状態空間次元に依存しないか？
• RQ3 時間離散化誤差は推定量の収束にどのように影響するか？また、その上界を導出できるか？
• RQ4 システムのコercivity が、推定問題の安定性および適切に定義された問題性を保証する条件は何か？
• RQ5 大規模なシステムおよび複数の軌道にスケーラブルな効率的で並列可能なアルゴリズムを設計できるか？

主な発見

• 提案された推定量は、1次元非パラメトリック回帰のミニマックスレートと一致する学習速度を達成しており、これは近似的最適かつ状態空間次元に依存しない。
• コercivity 条件により、条件数が有界となり、理論的整合性および収束保証が可能になる。
• 離散時間観測における離散化誤差は、時間間隔に関して1/2次の上界を有する。誤差が大きい場合には、サンプリング誤差および近似誤差を上回り、収束を妨げる。
• 与えられた正則性およびコercivity 条件のもとで、推定量は一貫しており、厳密な学習理論に基づき収束速度が確立されている。
• 意見形成モデルおよび Lennard-Jones モデルにおける数値実験により、本手法の有効性と多様な相互作用カーネルタイプへのロバストネスが確認された。
• 並列アルゴリズムにより、効率的な計算が可能となり、高次元系および複数の軌道へのスケーラビリティが実現された。