[논문 리뷰] Flexible statistical inference for mechanistic models of neural dynamics

Jan-Matthis Lueckmann, Pedro J. Gonçalves외 4명|arXiv (Cornell University)|2017. 11. 06.

Markov Chains and Monte Carlo Methods참고 문헌 44인용 수 96

한 줄 요약

본 논문은 Sequential Neural Posterior Estimation (SNPE)을 제시한다. 이는 데이터로부터 신경 모델 매개변수에 대한 전체 사후분포를 추정하기 위해 Bayesian Mixture-Density Network를 사용하는 우도-없는 베이지안 방법이며, 누락되거나 잘못된 시뮬레이션을 처리하고 시간계열에서 RNN으로 특징을 학습한다.

ABSTRACT

Mechanistic models of single-neuron dynamics have been extensively studied in computational neuroscience. However, identifying which models can quantitatively reproduce empirically measured data has been challenging. We propose to overcome this limitation by using likelihood-free inference approaches (also known as Approximate Bayesian Computation, ABC) to perform full Bayesian inference on single-neuron models. Our approach builds on recent advances in ABC by learning a neural network which maps features of the observed data to the posterior distribution over parameters. We learn a Bayesian mixture-density network approximating the posterior over multiple rounds of adaptively chosen simulations. Furthermore, we propose an efficient approach for handling missing features and parameter settings for which the simulator fails, as well as a strategy for automatically learning relevant features using recurrent neural networks. On synthetic data, our approach efficiently estimates posterior distributions and recovers ground-truth parameters. On in-vitro recordings of membrane voltages, we recover multivariate posteriors over biophysical parameters, which yield model-predicted voltage traces that accurately match empirical data. Our approach will enable neuroscientists to perform Bayesian inference on complex neuron models without having to design model-specific algorithms, closing the gap between mechanistic and statistical approaches to single-neuron modelling.

연구 동기 및 목표

• 경험적 데이터를 재현하는 기작적 신경 모델을 식별하기 위해 likelihood-free 추론의 사용을 동기부여한다.
• 시뮬레이션을 통해 모델 매개변수에 대한 유연한 후방분포를 학습하도록 SNPE를 개발한다.
• 누락된 특징 및 실패하는 시뮬레이션, 누락된 데이터 시나리오와 같은 실제 문제를 다룬다.
• 시계열 데이터에서 정보가 풍부한 특징을 자동으로 학습하기 위해 재귀적 신경망(RNN)을 사용한다.
• 합성 벤치마크와 실제 신경 데이터에서의 효과를 보여 주어 기작적 모델링과 통계적 모델링을 연결한다.

제안 방법

• 관찰된 데이터가 주어졌을 때 매개변수의 후방분포를 근사하기 위해 Sequential Neural Posterior Estimation (SNPE)을 제안한다.
• 후방분포를 모델링하기 위해 Bayesian mixture-density network (MDN)을 사용하고, 중요 가중 손실과 보정 커널로 학습한다.
• 순차적 다라운드 체계를 적용하여 라운드 r의 후방이 라운드 r+1의 제안 사전이 되도록 하여 지속 학습을 가능하게 한다.
• 실패할 가능성이 있는 시뮬레이션( bad simulations )을 예측하는 분류기를 포함하고 이를 피하기 위해 사전을 조정하여 효율성을 높인다.
• MDN에서 임퓨팅 층(imputing layer)으로 누락된 특징을 처리하고, 시계열에서 특징을 직접 학습하도록 모델을 확장하여 순환 신경망(R-MDN)으로 만든다.
• 가우시안 외에도 멀티모달 후방을 포함한 유연한 제안을 허용하고, 각 라운드 간 가중치를 훈련하기 위해 확률적 변분 추론(stochastic variational inference)을 사용한다.

실험 결과

연구 질문

• RQ1 SNPE가 모두 생리생물학적으로 생물전기 모델 매개변수의 전체 후방분포를 시뮬레이션 데이터와 실제 데이터 모두에서 복원할 수 있는가?
• RQ2 신경 동역학 모델에서 정확도, 강건성, 확장성 측면에서 전통적 우도 기반 방법 및 다른 ABC 접근법과 비교해 SNPE는 어떻게 평가되는가?
• RQ3 발산하는 시뮬레이션이나 누락된 특징을 생성하는 시뮬레이션을 효과적으로 처리할 수 있으며, 시계열에서 정보를 풍부한 특징을 자동으로 학습할 수 있는가?
• RQ4 복잡한 신경 모델에서 특징 학습에 RNN을 도입하면 매개변수 식별 가능성이 향상되는가?

주요 결과

• SNPE는 간단한 가우시안 혼합 및 GLM에서 실제 사후분포를 정확하게 복원하고, 이들 작업에 대해 우도 기반 방법과 비교해 유사한 매개변수 추정을 산출한다.
• Hodgkin-Huxley 신경 모델의 경우, SNPE는 12개 매개변수에 대한 후방분포를 추론하며, 이 값들은 실제값 근처에 중심화되고 데이터와 유사한 전압 궤적을 생성한다.
• 유전 알고리듬 기반 피팅 방법과 비교하여, SNPE는 단일 최적 매개변수 세트가 아니라 전체 후방분포를 제공한다.
• 제안이 다모드이면에도 SNPE는 강건하며, 전통적 방법이 어려움을 겪는 불안정한 모델 체계도 처리할 수 있다.
• bad simulations를 예측하는 분류기와 누락된 특징에 대한 임퓨팅 메커니즘은 추론의 효율성과 신뢰도를 향상시킨다.
• 전체 시계열에서 특징을 학습하기 위해 RNN을 사용한(R-MDN) 경우, 스파이크가 존재할 때 매개변수 후방분포를 더 촘촘하게 만들어 스파이크 관련 매개변수의 식별 가능성을 향상시킴을 보여준다.