[논문 리뷰] Learning particle swarming models from data with Gaussian processes

Jinchao Feng, Kulick, Charles외 2명|arXiv (Cornell University)|2021. 06. 04.

Gaussian Processes and Bayesian Inference참고 문헌 53인용 수 4

한 줄 요약

이 논문은 희소하고 노이즈가 많은 궤적 데이터로부터 두차원 입자 집단 운동 모델을 학습하기 위해 가우시안 프로세스 기반 방법을 제안한다. 이는 비모수적 추론을 통해 반경 방향 상호작용 커널을 추정하고, 마찰력의 매개변수 추정을 가능하게 한다. 재생 커널 힐버트 공간에서 최적 수렴 속도를 확립하고, 회복 가능성에 대한 강건한 이론적 보장을 제공하며, 이는 회복 가능성에 필요한 강건성 조건을 만족할 때 유도된다.

ABSTRACT

Interacting particle or agent systems that display a rich variety of swarming behaviours are ubiquitous in science and engineering. A fundamental and challenging goal is to understand the link between individual interaction rules and swarming. In this paper, we study the data-driven discovery of a second-order particle swarming model that describes the evolution of $N$ particles in $\mathbb{R}^d$ under radial interactions. We propose a learning approach that models the latent radial interaction function as Gaussian processes, which can simultaneously fulfill two inference goals: one is the nonparametric inference of {the} interaction function with pointwise uncertainty quantification, and the other one is the inference of unknown scalar parameters in the non-collective friction forces of the system. We formulate the learning problem as a statistical inverse problem and provide a detailed analysis of recoverability conditions, establishing that a coercivity condition is sufficient for recoverability. Given data collected from $M$ i.i.d trajectories with independent Gaussian observational noise, we provide a finite-sample analysis, showing that our posterior mean estimator converges in a Reproducing kernel Hilbert space norm, at an optimal rate in $M$ equal to the one in the classical 1-dimensional Kernel Ridge regression. As a byproduct, we show we can obtain a parametric learning rate in $M$ for the posterior marginal variance using $L^{\infty}$ norm, and the rate could also involve $N$ and $L$ (the number of observation time instances for each trajectory), depending on the condition number of the inverse problem. Numerical results on systems that exhibit different swarming behaviors demonstrate efficient learning of our approach from scarce noisy trajectory data.

연구 동기 및 목표

• 제한된, 노이즈가 많은 궤적 데이터로부터 두차원 입자 시스템의 상호작용 법칙을 복원하는 역문제를 해결하기 위해.
• 특정 함수 형태를 가정하지 않고 반경 방향 상호작용 커널의 비모수적 추론을 가능하게 하기 위해.
• 비집합적 마찰력에 존재하는 알려지지 않은 스칼라 매개변수를 동시에 추정하기 위해.
• 최소한의 가정 하에 회복 가능성과 수렴 속도에 대한 엄밀한 이론적 보장을 제공하기 위해.
• 유추된 상호작용 함수에 대해 점별 불확실성 정량화를 제공하기 위해.

제안 방법

• 비모수적 추론과 불확실성 정량화를 가능하게 하기 위해 잠재적인 반경 방향 상호작용 함수를 가우시안 프로세스 사전분포로 모델링한다.
• 연산자 이론적 프레임워크를 사용해 학습 문제를 통계적 역문제로 재구성한다.
• 상호작용 커널의 회복 가능성을 보장하기 위한 충분조건으로 강건성 조건을 사용한다.
• 재생 커널 힐버트 공간 노름에서 최적 수렴 속도를 갖는 사후 평균 추정기를 유도하며, 이는 고전적 1차원 커널 리지 회귀와 일치한다.
• 사후 마진 분산을 $L^\infty$ 노름을 사용해 분석하여, 조건수에 의해 $N$과 $L$에 의존할 수 있는 $M$에 대한 파rametric 수렴 속도를 보여준다.
• 다양한 집단 운동 행동을 보이는 시스템에 프레임워크를 적용하여, 저자료, 노이즈가 많은 환경에서도 강건함을 입증한다.

실험 결과

연구 질문

• RQ1 희소하고 노이즈가 많은 궤적 데이터로부터 두차원 입자 집단 운동 시스템의 반경 방향 상호작용 커널을 비모수적으로 추론할 수 있는가?
• RQ2 이 역문제에서 상호작용 함수의 이론적 회복 가능성을 보장하는 조건은 무엇인가?
• RQ3 사후 평균 추정기의 수렴 속도는 얼마나 빠르며, 유한 표본 설정에서 최적 속도를 달성하는가?
• RQ4 유추된 상호작용 커널과 마찰 매개변수에 대해 신뢰할 수 있는 불확실성 정량화를 확보할 수 있는가?
• RQ5 궤적 수 $M$, 입자 수 $N$, 관측 시간 수 $L$이 학습 정확도와 분산에 어떤 영향을 미치는가?

주요 결과

• 사후 평균 추정기는 재생 커널 힐버트 공간 노름에서 $M$에 대해 최적 수렴 속도를 보이며, 고전적 1차원 커널 리지 회귀 속도와 일치한다.
• 사후 마진 분산은 $L^\infty$ 노름 하에서 $M$에 대해 파라미터 수렴 속도를 보이며, 역문제의 조건수에 의해 $N$과 $L$에 의존할 수 있다.
• 강건성 조건은 상호작용 커널의 회복 가능성을 보장하는 데 충분하며, 식별성에 대한 이론적 기반을 제공한다.
• 수치 실험을 통해 이론적 방법이 희소하고 노이즈가 많은 궤적 데이터로부터 다양한 집단 운동 행동을 효과적으로 학습함을 확인한다.
• 이 방법은 상호작용 커널에 대해 점별 불확실성 정량화를 제공하여 유추된 역학의 신뢰도 평가가 가능하게 한다.
• 통합 베이지안 설정에서 비모수적 상호작용 함수와 알려지지 않은 스칼라 마찰 매개변수를 성공적으로 추정한다.