[논문 리뷰] Learning interaction kernels in stochastic systems of interacting particles from multiple trajectories

Fei Lu, Mauro Maggioni외 1명|arXiv (Cornell University)|2020. 07. 30.

Opinion Dynamics and Social Influence참고 문헌 49인용 수 5

한 줄 요약

이 논문은 다수의 관측 궤적에서 스트로스틱 입자 시스템의 상호작용 커널을 추론하기 위해 비모수적이고 정규화된 최대우도추정법을 제안한다. 비선형성 조건 하에서 일관성과 근사 최적 수렴 속도(1차원 비모수 회귀와 일치)를 확립하였으며, 이론적 수렴 속도는 1/2 차수의 이산화 오차로 제한된다. 병렬 알고리즘과 의견 형성 및 레너드존스 모델에 대한 수치 실험을 통해 효과성을 입증하였다.

ABSTRACT

We consider stochastic systems of interacting particles or agents, with dynamics determined by an interaction kernel which only depends on pairwise distances. We study the problem of inferring this interaction kernel from observations of the positions of the particles, in either continuous or discrete time, along multiple independent trajectories. We introduce a nonparametric inference approach to this inverse problem, based on a regularized maximum likelihood estimator constrained to suitable hypothesis spaces adaptive to data. We show that a coercivity condition enables us to control the condition number of this problem and prove the consistency of our estimator, and that in fact it converges at a near-optimal learning rate, equal to the min-max rate of $1$-dimensional non-parametric regression. In particular, this rate is independent of the dimension of the state space, which is typically very high. We also analyze the discretization errors in the case of discrete-time observations, showing that it is of order $1/2$ in terms of the time gaps between observations. This term, when large, dominates the sampling error and the approximation error, preventing convergence of the estimator. Finally, we exhibit an efficient parallel algorithm to construct the estimator from data, and we demonstrate the effectiveness of our algorithm with numerical tests on prototype systems including stochastic opinion dynamics and a Lennard-Jones model.

연구 동기 및 목표

• 스트로스틱 입자 시스템에서 다수의 독립 궤적에서 상호작용 커널을 학습하는 역문제를 다루는 것.
• 고차원 상태 공간에서도 일관성 있고 근사 최적 학습 속도를 달성할 수 있는 비모수적 추론 방법을 개발하는 것.
• 비선형성 조건을 통해 역문제의 조건수를 통제하고 추정기의 안정성을 보장하는 것.
• 이산 시간 관측 설정에서의 이산화 오차를 분석하고 경계를 제시하며, 이 오차가 크면 표본 및 근사 오차를 지배하여 수렴을 방해함을 보여주는 것.
• 데이터로부터 추정기를 구성하기 위한 효율적인 병렬 알고리즘을 설계하고 구현하는 것.

제안 방법

• 데이터와 역학에 적합한 가설 공간 위에서 정규화된 최대우도추정법(MLE)으로 추론 문제를 수립하는 것.
• 시스템의 스트로스틱 역학에 적합한 측도와 함수 공간을 도입하여 추정기가 시스템의 확률적 역학 하에서 잘 정의되고 안정함을 보장하는 것.
• 비선형성 조건을 도입하여 조건수를 통제하고 추정기의 일관성을 보장하는 것.
• 전체 오차를 표본 오차, 근사 오차, 이산화 오차로 분해하여 MLE의 오차 경계를 유도하는 것.
• 확률적 적분의 농도 부등식과 모멘트 경계를 사용하여 경험적 기능의 기대값에서의 편차를 통제하는 것.
• 다수의 궤적에서 추정기를 효율적으로 계산하기 위해 병렬 알고리즘을 개발하여 고차원 시스템에 대한 확장성을 확보하는 것.

실험 결과

연구 질문

• RQ1 스트로스틱 입자 시스템의 다수의 독립 궤적에서 비모수적 추정기가 상호작용 커널을 일관성 있게 학습할 수 있는가?
• RQ2 이 역문제에서 달성 가능한 최적의 학습 속도는 무엇이며, 이는 상태 공간 차원과 독립적인가?
• RQ3 시간 이산화 오차는 추정기의 수렴에 어떤 영향을 미치며, 이를 경계할 수 있는가?
• RQ4 비선형성 조건이 어떤 조건에서 추론 문제의 안정성과 잘 정의됨을 보장하는가?
• RQ5 대규모 시스템과 다수의 궤적에 대해 확장 가능한 효율적인 병렬 알고리즘을 설계할 수 있는가?

주요 결과

• 제안된 추정기는 1차원 비모수 회귀의 최소최대 속도와 일치하는 학습 속도를 달성하며, 이는 근사 최적이며 상태 공간 차원과 무관하다.
• 비선형성 조건은 조건수를 유한하게 유지하고 이론적 일관성과 수렴 보장을 가능하게 한다.
• 이산 시간 관측에서의 이산화 오차는 시간 간격에 대해 1/2 차수로 경계되며, 이 오차가 크면 표본 오차와 근사 오차를 지배하여 수렴을 방해한다.
• 주어진 정규성 및 비선형성 조건 하에서 추정기는 일관성이 있으며, 엄밀한 학습 이론에 기반한 수렴 속도가 확립되어 있다.
• 의견 형성 및 레너드존스 모델에 대한 수치 실험을 통해 다양한 상호작용 커널 유형에 대해 방법의 효과성과 강인성을 확인하였다.
• 병렬 알고리즘은 효율적인 계산을 가능하게 하여, 고차원 시스템과 다수의 궤적에 대한 확장성을 확보하였다.