[논문 리뷰] Learning interaction kernels in mean-field equations of 1st-order systems of interacting particles

Quanjun Lang, Fei Lu|arXiv (Cornell University)|2020. 10. 29.

Mathematical Biology Tumor Growth참고 문헌 25인용 수 7

한 줄 요약

이 논문은 이산적 공간-시간 관측 자료로부터 1차 상호작용 입자 시스템의 평균장 방정식에서 상호작용 커널을 학습하기 위한 비모수적이고 확장 가능한 알고리즘을 제안한다. 데이터 적응형 가설 공간에 대한 정규화를 적용한 최소 제곱법과 확률적으로 유도된 오차 기능을 사용하여, 수치 적분기의 순서와 일치하는 최적의 수렴 속도를 달성하며, 의견 동역학, 입자 군집, 집합-확산 모델에서 검증되었다.

ABSTRACT

We introduce a nonparametric algorithm to learn interaction kernels of mean-field equations for 1st-order systems of interacting particles. The data consist of discrete space-time observations of the solution. By least squares with regularization, the algorithm learns the kernel on data-adaptive hypothesis spaces efficiently. A key ingredient is a probabilistic error functional derived from the likelihood of the mean-field equation's diffusion process. The estimator converges, in a reproducing kernel Hilbert space and an L2 space under an identifiability condition, at a rate optimal in the sense that it equals the numerical integrator's order. We demonstrate our algorithm on three typical examples: the opinion dynamics with a piecewise linear kernel, the granular media model with a quadratic kernel, and the aggregation-diffusion with a repulsive-attractive kernel.

연구 동기 및 목표

• 해밀토니안 해밀턴 방정식의 해밀턴 방정식에서만 관측 가능한 밀도 데이터(밀도)가 제공될 때 상호작용 커널을 추정하는 역문제를 해결하기 위해.
• 커널 형식에 대한 파rametric 가정을 피하는 확장 가능한 비모수적 학습 알고리즘을 개발하기 위해.
• 최소한의 정규성 및 식별 가능성 조건 하에서 이론적 수렴성과 성능 보장을 확보하기 위해.
• 포크너-플랭크 방정식의 확산 과정에서 유도된 가능도 기반 확률적 오차 기능을 도출하여 강인한 추정을 가능하게 하기 위해.

제안 방법

• 이 방법은 데이터 적응형 가설 공간에 대해 티호노프 유형 정규화를 적용한 최소 제곱 추정기를 사용하여 상호작용 커널을 학습한다.
• 핵심 혁신은 평균장 방정식의 확산 과정의 가능도에서 유도된 확률적 오차 기능을 사용하는 것으로, 이는 이차형이며 공간 도함수가 필요로 하지 않는다.
• 알고리즘은 이산적 공간-시간 관측 자료로부터 오차 기능을 계산하기 위해 리만 합 근사를 사용하여 효율적인 계산을 가능하게 한다.
• 가설 공간은 데이터에 적응하는 기저 함수를 사용하여 구성되며, 추론 오차와 근사 오차 간의 트레이드오프를 통해 최적의 차원이 선택된다.
• 수렴 분석은 재생 커널 힐버트 공간과 가중 L² 공간에서 수행되며, 수렴 속도는 수치 적분기의 순서와 일치한다.
• 알고리즘은 알고리즘 1을 통해 구현되며, 이는 정규화된 정규 방정식을 풀어 커널 추정기를 계산한다.

실험 결과

연구 질문

• RQ1 희소하고 이산적인 공간-시간 관측 자료로부터 해밀턴 밀도의 해를 추정할 수 있는 비모수적 학습 알고리즘이 평균장 방정식 내 상호작용 커널을 추정할 수 있는가?
• RQ2 커널 추정기의 최적 수렴 속도는 무엇이며, 이를 수치 적분기의 순서와 일치시킬 수 있는가?
• RQ3 포크너-플랭크 방정식에서 유도된 확률적 오차 기능은 어떻게 도출할 수 있으며, 이를 통해 도함수 없이 강인한 추정이 가능하게 하는가?
• RQ4 유한한 가설 공간에 기인한 근사 오차와 이산화에 기인한 추론 오차 사이의 트레이드오프는 무엇인가?
• RQ5 이 방법은 조각별 선형, 이차형, 또는 반발력-끌림력 커널을 포함한 다양한 물리적 및 사회적 시스템에 적용 가능한가?

주요 결과

• 식별 가능성 및 정규성 조건 하에서, 추정기는 재생 커널 힐버트 공간과 가중 L² 공간 모두에서 리만 합 적분기의 순서와 일치하는 속도로 수렴한다. 즉, O(Δx + Δt)이다.
• 최적의 가설 공간 차원에 대해 총 오차는 O((Δx)^{αs/(s+1)})로 유계이며, 여기서 α는 적분기의 순서이고 s ≥ 1은 근사 오차 감쇠를 제어한다.
• 이 방법은 수렴 속도가 더 이상 향상될 수 없으며, 이를 향상시키기 위해서는 적분기의 순서를 높여야 한다는 점에서 최적의 수렴을 달성한다.
• 수치 실험을 통해 세 가지 벤치마크 모델에서 방법의 효과성이 확인되었다: 조각별 선형 커널을 가진 의견 동역학, 이차 커널을 가진 입자 군집, 반발력-끌림력 커널을 가진 집합-확산 모델.
• 알고리즘은 노이즈가 있거나 희소한 데이터에 대해 강인하며, 입자 궤적을 필요로 하지 않으며, 오직 거시적 밀도 관측 자료만 필요로 한다.
• 수치 적분 오차에 대한 이론적 경계가 유도되었으며, 메esh 크기와 선형적으로 스케일링됨을 보여주어 수렴 분석을 뒷받침한다.