[논문 리뷰] Using Firing-Rate Dynamics to Train Recurrent Networks of Spiking Model Neurons

Brian DePasquale, Mark M. Churchland외 1명|arXiv (Cornell University)|2016. 01. 28.

Neural dynamics and brain function참고 문헌 22인용 수 38

한 줄 요약

이 논문은 연속 변수 '레이트' 네트워크를 중간 매개체로 활용하여 순환 스파iking 신경망을 훈련시키는 새로운 방법을 제안한다. 레이트 네트워크의 동역학을 주성분에 투영함으로써, 뉴런 수를 약간 증가시킬 뿐이지만 고정밀도 작업 성능을 달성하면서 생물학적 현실성과 변동성을 유지하는 스파이킹 네트워크를 훈련시킨다.

ABSTRACT

Recurrent neural networks are powerful tools for understanding and modeling computation and representation by populations of neurons. Continuous-variable or "rate" model networks have been analyzed and applied extensively for these purposes. However, neurons fire action potentials, and the discrete nature of spiking is an important feature of neural circuit dynamics. Despite significant advances, training recurrently connected spiking neural networks remains a challenge. We present a procedure for training recurrently connected spiking networks to generate dynamical patterns autonomously, to produce complex temporal outputs based on integrating network input, and to model physiological data. Our procedure makes use of a continuous-variable network to identify targets for training the inputs to the spiking model neurons. Surprisingly, we are able to construct spiking networks that duplicate tasks performed by continuous-variable networks with only a relatively minor expansion in the number of neurons. Our approach provides a novel view of the significance and appropriate use of "firing rate" models, and it is a useful approach for building model spiking networks that can be used to address important questions about representation and computation in neural systems.

연구 동기 및 목표

• 복잡한 시간적 작업을 수행하도록 순환 연결된 스파이킹 신경망을 훈련시키는 데 도전하는 것.
• 스파이킹 네트워크에 직접 훈련하는 데서 비롯하는 한계를 극복하기 위해 연속 변수 네트워크를 목표 동역학의 대체 수단으로 사용하는 것.
• 레이트 네트워크의 행동을 재현하면서도 스파iking 불규칙성과 Dales의 법칙 등의 생물학적 특징을 통합하는 스파이킹 네트워크를 가능하게 하는 것.
• 네트워크 활동의 주성분 분석(PCA)을 활용하여 스파이킹 네트워크에서 연속 동역학을 표현하기 위해 필요한 뉴런 수를 줄이는 것.
• 실험 데이터(예: 운동 피각 및 EMG 기록)와 일치하는 생물학적으로 타당한 스파이킹 네트워크를 구성하기 위한 프레임워크를 제공하는 것.

제안 방법

• 목표 작업을 수행하도록 연속 변수 '레이트' 네트워크를 훈련시어, 훈련을 위한 보조 목표 신호를 생성한다.
• 레이트 네트워크 활동에 주성분 분석(PCA)을 적용하여 네트워크 동역학의 대부분의 분산을 설명하는 주요 시간 모드(주성분)를 추출한다.
• 레이트 네트워크의 주성분을 스파이킹 네트워크의 겹치는 뉴런 풀에 매핑하여 연속 신호를 인구 전체에 분산시킨다.
• 스파이킹 네트워크의 출력과 투영된 목표값 간 오차를 최소화하는 지도 학습 규칙을 사용하여 스파이킹 네트워크의 순환 및 출력 가중치(J와 W)를 훈련시킨다.
• 시험 간 변동성과 스파이킹 불규칙성을 유도하기 위해 무작위로 고정된 순환 연결(J^f)을 통합한다.
• 스파이킹 네트워크의 동역학과 출력을 레이트 네트워크 및 실험 데이터(운동 피각 및 EMG 기록 포함)와 비교하여 검증한다.

실험 결과

연구 질문

• RQ1 연속 변수 레이트 네트워크의 동역학을 최소한의 뉴런 증가로 재현할 수 있는가?
• RQ2 레이트 네트워크 활동의 주성분을 어떻게 스파이킹 네트워크의 효과적인 훈련 목표로 활용할 수 있는가?
• RQ3 생물학적으로 제약된 연결성(예: Dales의 법칙, 희박성)을 가진 스파이킹 네트워크가 복잡한 시간적 작업을 얼마나 잘 재현할 수 있는가?
• RQ4 이 방법으로 훈련된 스파이킹 네트워크의 동역학이 운동 피각 활동 및 EMG 신호와 같은 실험 신경 및 행동 데이터와 얼마나 일치하는가?
• RQ5 레이트 네트워크와 스파이킹 네트워크 활동의 주성분 간의 관계는 무엇이며, 이는 네트워크 기능을 어떻게 설명하는가?

주요 결과

• 연속 변수 레이트 네트워크의 주성분을 활용해 훈련된 스파이킹 네트워크는 전체 목표 신호로 훈련된 네트워크와 유사한 정규화 오차를 달성하며, 주성분 수가 12개일 때도 마찬가지다.
• 레이트 네트워크와 스파이킹 네트워크의 상위 10개 시간 주성분은 총 분산의 90% 이상을 설명하며, 이들의 부분공간 간 중앙각은 오직 5도에 불과하여 강력한 동역학 유사성을 나타낸다.
• 이 방법을 통해 레이트 네트워크의 단위 수에 비해 뉴런 수를 약간만 증가시켜도 자율 진동 및 입력 통합과 같은 복잡한 작업을 재현하는 스파이킹 네트워크를 구축할 수 있다.
• 스파이킹 네트워크는 도시 운동 과제 동안 운동 피각 활동과 EMG 신호 등 생리학적 데이터의 여러 특징을 성공적으로 모델링한다.
• 연속 변수 네트워크는 스파이킹 속도의 직접적인 근사치로 기능하는 것이 아니라, 네트워크 기능의 핵심이 되는 주요 동역학 모드(주성분)를 생성하는 역할을 한다.
• 이 접근법은 레이트 모델을 스파이킹 네트워크의 근사치로 보는 것이 아니라, 작업 수행에 필요한 본질적 동역학 성분을 식별하는 데 도움이 되는 도구로 활용할 수 있음을 뒷받침한다.