[논문 리뷰] Trial matching: capturing variability with data-constrained spiking neural networks

Christos Sourmpis, Carl C.H. Petersen외 2명|arXiv (Cornell University)|2023. 06. 06.

Neural dynamics and brain functionNeuroscience인용 수 3

한 줄 요약

이 논문은 최적화 운반 기반의 시험 일치를 사용하여 신경 및 행동 데이터의 시험 간 변동성을 포착하는 데이터 제약이 있는 순환 스파iking 신경망(RSNN)을 소개한다. 6개의 총경부 영역에서의 28개 세션에 걸쳐 스파이크 활동과 턱 운동 예측을 동시에 최적화함으로써, 사전에 저차원 잠재 구조를 가정하지 않고도 현실적인, 해석 가능한 변동성 모드—예를 들어 작업과 관련 없는 운동까지 포함—을 생성한다.

ABSTRACT

Simultaneous behavioral and electrophysiological recordings call for new methods to reveal the interactions between neural activity and behavior. A milestone would be an interpretable model of the co-variability of spiking activity and behavior across trials. Here, we model a mouse cortical sensory-motor pathway in a tactile detection task reported by licking with a large recurrent spiking neural network (RSNN), fitted to the recordings via gradient-based optimization. We focus specifically on the difficulty to match the trial-to-trial variability in the data. Our solution relies on optimal transport to define a distance between the distributions of generated and recorded trials. The technique is applied to artificial data and neural recordings covering six cortical areas. We find that the resulting RSNN can generate realistic cortical activity and predict jaw movements across the main modes of trial-to-trial variability. Our analysis also identifies an unexpected mode of variability in the data corresponding to task-irrelevant movements of the mouse.

연구 동기 및 목표

• 밀리초 정밀도로 총경부 감각-운동 경로를 시뮬레이션할 수 있는 생물학적으로 해석 가능한 대규모 RSNN을 개발한다.
• 다수의 기록 세션에 걸쳐 신경 스파이크 활동과 행동의 시험 간 변동성을 일치시키는 과제를 해결한다.
• 저차원 잠재 역학에 대한 사전 가정을 피하기 위해, 네트워크가 비정형 노이즈로부터 구조화된 변동성을 학습하도록 허용한다.
• 기울기 기반 최적화를 통해 다중 세션 데이터에서 신경 활동과 행동을 공동으로 모델링할 수 있도록 한다.
• 가설이 없는 접근 방식을 통해 변동성의 회로 메커니즘, 특히 작업과 관련 없는 운동을 포함한 변동성의 원인을 규명한다.

제안 방법

• 모델은 유전적 제약이 있는 동역학을 갖는 대규모 순환 스파이킹 신경망(RSNN)을 사용한다: 누설 적분-화이어 뉴런, 2–4 ms의 시냅스 지연, 그리고 활성화/억제성 유형.
• 신경 활동과 턱 운동의 경험적 분포를 시험 간에 일치시키기 위해 최적화 운반 기반의 새로운 시험 일치 손실 함수를 사용하여 기울기 기반 최적화로 네트워크를 훈련시킨다.
• 시험 일치 손실은 스파이크 트레인과 운동의 평균, 분산 등의 통계와 최적의 할당을 사용하여 생성된 시험 분포와 기록된 시험 분포 간의 거리를 계산한다.
• 이 방법은 시험 별 잠재 변수나 저차원 역학에 대한 사전 가정 없이도 다중 세션 데이터(28개 세션, 6개 총경부 영역)에서 엔드 투 엔드 훈련을 가능하게 한다.
• 비정형 노이즈(가우시안 입력 및 확률적 스파이크)를 입력으로 포함함으로써, 네트워크가 이를 구조화된 현실적인 시험 간 변동성으로 변환할 수 있도록 한다.
• 대안적 손실 함수로는 가능도 기반 및 GAN 기반 손실이 평가되었지만, 시험 일치 손실이 더 안정적이고 수치적으로 안정적이었으며, 분류기 튜닝이 필요 없었다.

Figure 1: Modeling trial-variability in electrophysiological recordings. A . During a delayed whisker detection task, the mouse should report the sensation of a whisker stimulation by licking to obtain a water reward. Neural activity and behavior of the mouse are recorded simultaneously. B . A recur

실험 결과

연구 질문

• RQ1 데이터 제약이 있는 RSNN은 다수의 기록 세션에 걸쳐 현실적인 시험 간 변동성을 신경 활동과 행동에서 생성할 수 있는가?
• RQ2 모델은 저차원 잠재 변수를 가정하지 않고도 변동성을 설명하는 해석 가능한 회로 메커니즘을 복원하는가?
• RQ3 비정형 노이즈 원천은 신경 및 행동 출력의 구조화된 변동성 생성에 어떤 역할을 하는가?
• RQ4 최적화 운반 기반의 시험 일치 손실은 가능도 기반 또는 GAN 기반 대안보다 다중 세션 RSNN에 적합하게 잘 작동하는가?
• RQ5 모델은 자발적 운동과 같은 작업과 관련 없는 행동 변동성, 즉 별개의 변동성 모드를 식별할 수 있는가?

주요 결과

• RSNN은 6개의 총경부 영역에서의 28개 세션에 걸쳐 신경 활동과 턱 운동의 주요 변동성 모드를 성공적으로 포착했다.
• 모델은 저차원 잠재 구조에 대한 사전 가정 없이도 현실적인 스파이크 패tern을 생성하고, 특히 실패 시험 동안에도 턱 운동을 높은 정밀도로 예측했다.
• 의외의 변동성 모드가 발견되었다: 쥐의 작업과 관련 없는 운동으로, 이는 모델이 시험 분포의 일부로 성공적으로 재현했다.
• 최적화 운반 기반의 시험 일치 손실은 가능도 기반 및 GAN 기반 대안보다 안정성과 성능 면에서 뛰어났으며, 특히 다중 세션 설정에서 유의미했다.
• 저차원 잠재 입력(예: 5D 가우시안 노이즈)을 추가하면 최적화 속도가 빨라지지만 최종 성능 향상은 없었으며, 이는 네트워크 자체가 현실적인 변동성을 생성할 수 있음을 시사한다.
• UMAP 시각화 결과 시험 분포에 저차원 다양체가 드러났으며, 이는 구조화된 변동성이 네트워크 동역학에서 명시적인 아키텍처 제약 없이도 자연스럽게 발생함을 나타낸다.

Figure 2: Artificial Dataset. A . Session stitching: every neuron from the recordings is uniquely mapped to a neuron from our model. For example, an excitatory neuron from our model that belongs in the putative A1 is mapped to an excitatory neuron “recorded” in A1. In our network, we constrain the c