[논문 리뷰] Fitting summary statistics of neural data with a differentiable spiking network simulator

Guillaume Bellec, Shuqi Wang외 3명|arXiv (Cornell University)|2021. 06. 18.

Neural dynamics and brain function인용 수 5

한 줄 요약

이 논문은 신경과학적으로 관련 있는 요약 통계량(예: PSTH 및 노이즈 상관관계)을 기반으로 한 최대우도와 샘플-측정 손실을 조합한 손실을 최소화하여 신경 데이터에 적합하는 미분 가능한 스파iking 네트워크 시뮬레이터를 제안한다. 이 방법은 확률적 스파이크 트레인을 통해 효율적인 역전파를 가능하게 하여, 숨겨진 뉴런이 있는 경우에도 정확한 네트워크 연결성 추론이 가능하게 하며, 기존의 최대우도 기반 방법에 비해 실재성과 재구성 정확도를 크게 향상시킨다.

ABSTRACT

Fitting network models to neural activity is an important tool in neuroscience. A popular approach is to model a brain area with a probabilistic recurrent spiking network whose parameters maximize the likelihood of the recorded activity. Although this is widely used, we show that the resulting model does not produce realistic neural activity. To correct for this, we suggest to augment the log-likelihood with terms that measure the dissimilarity between simulated and recorded activity. This dissimilarity is defined via summary statistics commonly used in neuroscience and the optimization is efficient because it relies on back-propagation through the stochastically simulated spike trains. We analyze this method theoretically and show empirically that it generates more realistic activity statistics. We find that it improves upon other fitting algorithms for spiking network models like GLMs (Generalized Linear Models) which do not usually rely on back-propagation. This new fitting algorithm also enables the consideration of hidden neurons which is otherwise notoriously hard, and we show that it can be crucial when trying to infer the network connectivity from spike recordings.

연구 동기 및 목표

• 재귀적 스파이킹 신경망(RSNN)의 최대우도 추정(MLE) 기법의 한계를 해결하기 위해, 이론적으로 일관되기는 하지만 종종 비현실적인 활동을 유도하는 문제를 다루기 위해.
• 숨겨진 유닛을 포함한 RSNN 훈련에 있어 이전의 기술적 장벽을 극복하고, 확장 가능하고 미분 가능한 프레임워크를 개발하여, 확률적 스파이크 트레인을 통해 역전파를 가능하게 하기 위해.
• PSTH 및 노이즈 상관관계와 같은 뉴런과학적으로 관련 있는 요약 통계량을 손실 함수에 통합하여 모델의 실재성과 연결성 추론 성능을 향상시키기 위해.
• 기록된 뉴런의 일부만 관측 가능한 상황에서, 숨겨진 뉴런을 모델링하는 것이 정확한 네트워크 연결성 재구성에 필수적임을 입증하기 위해.
• 여러 기록 세션의 데이터를 조합하여 대규모 네트워크에 대한 피팅을 가능하게 하기 위해, 일부 뉴런을 가시적이고 다른 일부를 숨겨진 것으로 간주하는 것

제안 방법

• 스파이크 반응 모델(SRM) 기반의 확률적 재귀적 스파이킹 신경망(RSNN)의 미분 가능한 구현을 사용하며, 스파이크 발생 확률은 막막 전위의 시그모이드 함수로 계산된다.
• 스파이크 트레인은 베르누이 샘플링을 통해 확률적으로 생성되며, 직선 통과 기울기 추정기(straight-through gradient estimator)를 사용하여 이 이산적 샘플을 통해 역전파가 수행된다.
• 손실 함수는 표준 로그우도와 시뮬레이션된 데이터와 기록된 데이터의 요약 통계량(예: PSTH 및 노이즈 상관관계)을 비교하는 샘플-측정 손실을 조합한다.
• 요약 통계량은 시뮬레이션된 및 기록된 스파이크 트레인에서 계산되며, 자동 미분를 사용한 경사하강법을 통해 상이성을 최소화한다.
• 숨겨진 뉴런은 그들의 활동(예: 발화율)에 대한 샘플-측정 손실을 통합함으로써 지원되며, 이는 기존의 우도 기반 피팅에서 고려되지 않는 부분이다.
• 이 방법은 PyTorch로 구현되었으며 오픈소스로 공개되어, GPU에서 전체적으로 미분 가능하고 효율적인 훈련이 가능하다.

실험 결과

연구 질문

• RQ1 최대우도 추정에 비해, 미분 가능한 스파이킹 네트워크 시뮬레이터가 더 현실적인 시뮬레이션된 신경 활동을 제공할 수 있는가?
• RQ2 PSTH 및 노이즈 상관관계와 같은 요약 통계량을 손실 함수에 통합하면, 더 정확한 네트워크 연결성 추론이 가능해지는가?
• RQ3 숨겨진 뉴런이 미분 가능한 프레임워크에서 효과적으로 모델링되어 진짜 네트워크 연결성 재구성 성능을 향상시킬 수 있는가?
• RQ4 샘플-측정 접근법은 여러 기록 세션의 데이터를 조합하여 대규모 네트워크에 대해 확장 가능한가?
• RQ5 기록된 뉴런의 일부만 존재할 경우, 숨겨진 뉴런을 포함시키는 것이 연결 행렬 추정 오차를 상당히 감소시키는가?

주요 결과

• 숨겨진 뉴런이 활동에 영향을 미치는 경우, 샘플-측정 방법은 최대우도 추정에 비해 시뮬레이션된 신경 활동의 실재성을 크게 향상시킨다.
• 숨겨진 뉴런을 포함한 경우, 노이즈 상관관계 행렬 R²는 0.97이며, 연결성 행렬 R²는 0.63을 기록하여, 완전히 가시적인 네트워크의 성능(각각 R² = 0.97 및 0.63)에 근접한다.
• 숨겨진 뉴런 없이 실험한 경우, 진짜 연결성은 재구성되지 않으며, 노이즈 상관관계와 연결성에 대해 R² 값이 모두 0.1 이하로 나타나, 숨겨진 뉴런이 정확한 추론에 필수적임을 시사한다.
• 작은 숨겨진 뉴런 집단(10개 뉴런)만으로도 재구성 정확도가 크게 향상되며, 연결성에 대한 R² 값이 숨겨진 뉴런을 모델링할 경우 0.1에서 0.55로 상승한다.
• 이 방법은 효율적으로 확장 가능하다: 20개 세션에 걸쳐 4,995개 뉴런의 모델을 훈련하는 데 단일 V100 GPU에서 36시간이 소요되어, 대규모 신경망 피팅의 실현 가능성을 입증한다.
• 이 방법은 역전파를 사용하지 않는 GLM 기반 방법보다 우수하며, 강화학습 스타일의 고분산 기울기 문제를 피하는 안정적이고 효율적인 대안을 제공한다.