[논문 리뷰] A new inference approach for training shallow and deep generalized linear models of noisy interacting neurons

Gabriel Mahuas, Giulio Isacchini외 3명|arXiv (Cornell University)|2020. 06. 11.

Neural dynamics and brain function참고 문헌 29인용 수 3

한 줄 요약

이 논문은 노이즈가 있는 상호작용 신경망의 일반선형모형(GLM)을 훈련하기 위한 이중단계 추론 방법을 제안한다. 이 방법은 자극에 의한 성분과 네트워크 결합 역학을 분리한다. 반복된 자극을 활용해 훈련 전에 자극에 의존하지 않는 결합을 추론함으로써, 모델의 일반화 능력, 안정성, 예측 정확도를 향상시킨다. 특히 복잡한 시각 자극에 대해 유의미한 성능 향상을 이룬다. 또한 딥 컨volution 신경망과의 통합도 가능하게 한다.

ABSTRACT

Generalized linear models are one of the most efficient paradigms for predicting the correlated stochastic activity of neuronal networks in response to external stimuli, with applications in many brain areas. However, when dealing with complex stimuli, the inferred coupling parameters often do not generalize across different stimulus statistics, leading to degraded performance and blowup instabilities. Here, we develop a two-step inference strategy that allows us to train robust generalized linear models of interacting neurons, by explicitly separating the effects of correlations in the stimulus from network interactions in each training step. Applying this approach to the responses of retinal ganglion cells to complex visual stimuli, we show that, compared to classical methods, the models trained in this way exhibit improved performance, are more stable, yield robust interaction networks, and generalize well across complex visual statistics. The method can be extended to deep convolutional neural networks, leading to models with high predictive accuracy for both the neuron firing rates and their correlations.

연구 동기 및 목표

• 다양한 자극 통계에서 일반화 능력이 떨어지는 기존 GLM의 문제를 해결하여 안정적이고 강건한 결합 파rameter를 확보한다.
• 자극 상관관계에 의해 유도되는 가짜 결합으로 인해 발생하는 자기 자극 전이 현상(self-excitation transients)을 해결한다.
• 복잡한 자극 하에서 망막 및皮질 네트워크의 상관관계 있는 노이즈와 인구 반응 통계를 개선하여 예측한다.
• 딥 컨volution 신경망(CNN)을 GLM에 통합하여 평균 반응 예측 성능을 향상시키면서도 인구 상관관계 모델링을 유지한다.
• 실험 데이터로부터 안정적이고 일반화 가능하며 해석 가능한 신경망 상호작용 네트워크 추론 프레임워크를 개발한다.

제안 방법

• GLM 추론을 두 개의 독립된 단계로 분해한다: 첫 번째 단계에서는 자극 필터를 제외한 뉴런 간 결합 행렬을 추론한다.
• 반복된 자극에 대한 반응을 이용해 최대우도 기반으로 결합 파rameter를 추정함으로써 자극 통계와 무관한 결합을 확보한다.
• 두 번째 단계에서는 전체 데이터셋을 사용해 자극 필터 파rameter(예: 선형 또는 딥 CNN 필터)를 추론하며, 이때 결합 행렬은 고정된 것으로 간주한다.
• 자기 자극 불안정성을 방지하기 위해 추론된 결합에 안정성 기준을 적용한다.
• 두 단계의 추론 결과를 하나의 통합 GLM으로 조합하여 평균 발화율과 상관관계를 동시에 예측한다.
• 사전에 훈련된 CNN을 사용해 자극 처리를 수행하고, 그 출력을 뉴런별로 고유한 결합과 이력 필터를 갖는 GLM 레이어에 연결함으로써 딥 아키텍처로의 확장 가능성을 확보한다.

실험 결과

연구 질문

• RQ1 GLM 추론에서 자극 상관관계의 영향을 네트워크 상호작용과 분리하여 모델의 강건성 향상을 이룰 수 있는가?
• RQ2 자극 필터와 결합 추론을 분리함으로써 다양한 시각 통계에서 더 나은 일반화 성능를 달성할 수 있는가?
• RQ3 이 이중단계 방법이 신경망 동역학에서 자기 자극 불안정성을 줄일 수 있는가?
• RQ4 GLM에 딥 CNN을 통합할 때 노이즈 상관관계와 인구 상호작용 모델링의 정확도를 손상시키지 않고 어느 정도까지 가능할 수 있는가?
• RQ5 최종적으로 도출된 모델이 망막 간상세포의 발화율과 상관 활동 예측 정확도를 향상시키는가?

주요 결과

• 이중단계 추론 방법은 자극에 의한 영향과 네트워크 결합을 성공적으로 분리하여 안정적이고 자극에 독립적인 결합 행렬을 도출한다.
• 이 방법으로 훈련된 모델은 다양한 시각 통계에서 잘 일반화된다: 이동 바 자극으로부터 추론한 결합을 가진 모델이 체크패턴 자극에 대한 반응을 높은 정확도로 예측한다.
• 가짜 노이즈 상관관계를 감소시키고 자기 자극 전이 현상을 완전히 제거한다. 이는 복잡한 자극 하에서 기존 GLM 훈련 방식에서 흔히 발생하는 문제이다.
• 이 방법은 딥 CNN을 GLM에 통합할 수 있게 하여 평균 발화율 예측 성능를 크게 향상시키며, 同시에 정확한 인구 상관관계 모델링을 유지한다.
• 단지 165초의 반복 데이터만으로도 강건한 결합 추론이 가능하여, 제한된 반복 시험 조건에서도 적용 가능성을 입증한다.
• 기존 GLM 훈련 방식에 비해 예측 정확도와 안정성이 높으며, 특히 자연주의적이고 복잡한 시각 자극에 대해 뚜렷한 성능 향상을 보인다.