[논문 리뷰] Parameter and hidden-state inference in mean-field models from partial observations of finite-size neural networks

Irmantas Ratas, K. Pyragas|arXiv (Cornell University)|2026. 02. 10.

Neural Networks and Reservoir Computing인용 수 0

한 줄 요약

이 논문은 synchronization-based 접근법을 사용하여 유한 크기 신경망의 단일 관측 거시적 시간 시계열로부터 mean-field 모델 매개변수를 추정하고 숨겨진 거시 변수들을 재구성하기 위한 differential-evolution-based 프레임워크를 제시한다.

ABSTRACT

We study large but finite neural networks that, in the thermodynamic limit, admit an exact low-dimensional mean-field description. We assume that the governing mean-field equations describing macroscopic quantities such as the mean firing rate or mean membrane potential are known, while their parameters are not. Moreover, only a single scalar macroscopic observable from the finite network is assumed to be measurable. Using time-series data of this observable, we infer the unknown parameters of the mean-field equations and reconstruct the dynamics of unobserved (hidden) macroscopic variables. Parameter estimation is carried out using the differential evolution algorithm. To remove the dependence of the loss function on the unknown initial conditions of the hidden variables, we synchronize the mean-field model with the finite network throughout the optimization process. We demonstrate the methodology on two networks of quadratic integrate-and-fire neurons: one exhibiting periodic collective oscillations and another displaying chaotic collective dynamics. In both cases, the parameters are recovered with relative errors below $1\%$ for network sizes exceeding 1000 neurons.

연구 동기 및 목표

• 유한 크기 신경망의 부분 관찰로부터 알려진 mean-field 방정식의 매개변수를 추정한다.
• 관측되지 않은(숨겨진) 거시 변수의 동역학을 재구성한다.
• 최적화 중에 알 수 없는 초기 조건에 대한 의존성을 제거하기 위한 synchronization-based 전략을 개발한다.
• 네트워크 크기에 걸친 유한 크기 효과가 매개변수 추정 정확도에 미치는 영향을 평가한다.

제안 방법

• 관찰된 시간 포인트들에 대해 mean-field 궤적에 대해 손실 L을 최소화하는 것으로 매개변수 추론을 형식화한다.
• 알려지지 않은 초기 조건에 대한 의존성을 제거하기 위해 두 가지 synchronization-based 접근법(비침투적 및 침투적)을 사용한다.
• 비침투적 방법에서 관찰된 궤적을 향해 mean-field 모델을 끌어당기기 위해 master-slave 결합을 적용한다.
• 침투적 방법에서 Arnold tongues를 통한 동기화를 달성하기 위해 주기적 외부 전류를 적용한다.
• 매개변수에 대한 전역 최적화를 위해 best1bin 전략을 가진 differential evolution (DE)을 적용한다.
• 프레임워크를 테스트하기 위해 이차적 통합-발화(QIF) 뉴런(QIF-IN 및 QIF-AD) 네트워크를 사용한다.

Figure 1: Inference of mean-field model parameters from chaotic time series of mean membrane potential observed in QIF-IN networks of different sizes. Box plots visualize the statistics of relative deviations of inferred parameters from their actual values used in the QIF-IN microscopic network mode

실험 결과

연구 질문

• RQ1 알려진 mean-field 모델의 매개변수를 유한 크기 신경망의 부분 관찰로부터 정확하게 추정할 수 있는가?
• RQ2 제한된 스칼라 관찰로부터 숨겨진 거시 변수의 동역학을 재구성할 수 있는가?
• RQ3 네트워크 크기가 커짐에 따라 유한 크기 요동이 매개변수 추정 정확도에 어떤 영향을 미치는가?
• RQ4 어떤 synchronization 접근법(비침투적 대 침투적)이 더 강건한 매개변수 회복을 제공하는가?
• RQ5 이 추론 task에 differential-evolution이 효과적인 최적화 방법인가?

주요 결과

• 네트워크 크기 N ≥ 1000에서 QIF-IN(주기적)과 QIF-AD(혼돈) 네트워크 모두에서 매개변수 회복의 상대오차가 1% 미만으로 달성된다.
• 추론 정확도와 손실 최저값은 네트워크 크기가 커질수록 감소하는 유한 크기 잡음으로 인해 개선된다.
• 단일 거시 관측으로 추정된 매개변수를 가진 mean-field 모델은 순간 이후에 관측되지 않은 거시 변수들(R과 S in QIF-IN; R과 A in QIF-AD)을 재구성할 수 있다.
• 침투적 동기화가 일반적으로 비침투적 동기화보다 매개변수 오차 분산이 약간 더 작게 나타난다.
• 이 비선형적 고차원 추론 문제에서 differential evolution은 정확도와 수렴 속도 측면에서 다른 탐색기들보다 우수하다.

Figure 2: Box plot of the loss function minima for different sizes of the QIF-IN network. Noninvasive and invasive methods are represented in blue and red colors, respectively. The parameter values are given in the caption of Fig. 1 and in Tab. 1 .