[논문 리뷰] Learning interaction kernels in heterogeneous systems of agents from multiple trajectories

Fei Lu, Mauro Maggioni외 1명|arXiv (Cornell University)|2021. 01. 01.

Opinion Dynamics and Social Influence인용 수 30

한 줄 요약

이 논문은 다수의 관측 궤적에서 이질적 에이전트 시스템의 상호작용 커널을 학습하기 위한 비모수적 방법을 제안한다. 최소제곱 추정을 사용하여 $L^2$ 공간에서 최적의 최소최대 수렴 속도를 달성한다. 이 방법은 확장 가능하고 병렬 처리가 가능하며, 소음이 있는 또는 짧은 시간 데이터가 있는 경우에도 의견 형성, 개미무리, 입자 시스템에서 뛰어난 성능을 보인다.

ABSTRACT

Systems of interacting particles or agents have wide applications in many disciplines such as Physics, Chemistry, Biology and Economics. These systems are governed by interaction laws, which are often unknown: estimating them from observation data is a fundamental task that can provide meaningful insights and accurate predictions of the behaviour of the agents. In this paper, we consider the inverse problem of learning interaction laws given data from multiple trajectories, in a nonparametric fashion, when the interaction kernels depend on pairwise distances. We establish a condition for learnability of interaction kernels, and construct estimators that are guaranteed to converge in a suitable $L^2$ space, at the optimal min-max rate for 1-dimensional nonparametric regression. We propose an efficient learning algorithm based on least squares, which can be implemented in parallel for multiple trajectories and is therefore well-suited for the high dimensional, big data regime. Numerical simulations on a variety examples, including opinion dynamics, predator-swarm dynamics and heterogeneous particle dynamics, suggest that the learnability condition is satisfied in models used in practice, and the rate of convergence of our estimator is consistent with the theory. These simulations also suggest that our estimators are robust to noise in the observations, and produce accurate predictions of dynamics in relative large time intervals, even when they are learned from data collected in short time intervals.

연구 동기 및 목표

• 관측된 궤적에서 다중 에이전트 시스템의 알려지지 않은 상호작용 법칙을 학습하는 역문제를 해결한다.
• 쌍별 거리에 의존하는 상호작용 커널을 위한 비모수적 추정 프레임워크를 개발한다.
• 특정 $L^2$ 공간 내에서 학습 가능성 조건을 확립하여 이론적 수렴 보장을 확보한다.
• 고차원 및 대용량 데이터 환경에 적합한 확장 가능하고 병렬 처리 가능한 알고리즘을 설계한다.
• 소음이 있는 관측과 제한된 시간 데이터 하에서 추정기의 강건성과 예측 정확도를 입증한다.

제안 방법

• 상호작용 커널을 쌍별 거리에서 추정하는 비모수적 회귀 문제로 역문제를 $L^2$ 공간에서 재구성한다.
• 상호작용 커널에 대한 일致한 추정기의 존재를 보장하는 학습 가능성 조건을 도입한다.
• 1차원 비모수적 회귀에서 최적의 최소최대 수렴 속도를 달성하는 최소제곱 추정기 구축한다.
• 다중 궤적에 걸쳐 병렬 처리 가능한 방식으로 알고리즘을 구현하여 대용량 데이터 환경에서의 확장성을 확보한다.
• 수치 시뮬레이션을 통해 이론적 수렴 속도와 소음 및 짧은 관측 창에 대한 강건성을 검증한다.

실험 결과

연구 질문

• RQ1 이질적 에이전트 시스템에서 다수의 궤적을 통해 상호작용 커널이 어떤 조건에서 학습 가능한가?
• RQ2 비모수적 추정기로 이러한 시스템에서 $L^2$ 공간에서 최적의 최소최대 수렴 속도를 달성할 수 있는가?
• RQ3 제안된 최소제곱 추정기는 의견 형성 및 군집 행동과 같은 다양한 에이전트 역학에서 실제로 어떻게 성능을 발휘하는가?
• RQ4 실제 데이터에서 소음과 짧은 관측 간격에 대해 추정기는 어느 정도 강건한가?
• RQ5 이 방법은 고차원 및 대규모 궤적 데이터에 대해 효율적으로 병렬 처리되어 확장 가능한가?

주요 결과

• 제안된 학습 가능성 조건은 의견 형성, 개미무리 시스템, 이질적 입자 역학과 같은 실용적 모델에서 만족된다.
• 최소제곱 추정기는 $L^2$ 공간에서 1차원 비모수적 회귀의 최적의 최소최대 수렴 속도를 달성한다.
• 수치 시뮬레이션을 통해 추정기의 수렴 속도가 이론적 예측과 일치하는 것으로 확인된다.
• 관측 소음에 대해 강건하여 장기간에 걸친 예측 정확도를 유지한다.
• 짧은 시간 간격에서 학습된 경우에도 추정기는 신뢰할 수 있는 장기 역학 예측을 생성한다.