[논문 리뷰] Efficient low-dimensional approximation of continuous attractor networks

Alexander Seeholzer, Moritz Deger외 1명|arXiv (Cornell University)|2017. 11. 21.

Neural Networks Stability and Synchronization참고 문헌 15인용 수 4

한 줄 요약

이 논문은 비선형 동역학을 갖는 연속 압착망에서 안정 상태의 발화율 프로파일을 효율적으로 근사하기 위한 저차원 매개변수화 방법을 제시한다. 이는 비선형성과 함께 생물학적으로 타당한 특성(예: NMDA 전도도, 적응성 등)을 유지하면서도, 전체 시뮬레이션 없이도 발화율 복합체의 특성(형상, 안정성 등)을 신속하게 예측하고 최적화할 수 있도록 한다. 이 방법은 고차원 네트워크 동역학을 다룰 수 있는 자기일관성 방정식으로 줄이며, 전체 시뮬레이션 없이도 원하는 복합체 형상을 얻기 위해 네트워크 매개변수를 정확하게 조정할 수 있도록 한다.

ABSTRACT

Continuous "bump" attractors are an established model of cortical working memory for continuous variables and can be implemented using various neuron and network models. Here, we develop a generalizable approach for the approximation of bump states of continuous attractor networks implemented in networks of both rate-based and spiking neurons. The method relies on a low-dimensional parametrization of the spatial shape of firing rates, allowing to apply efficient numerical optimization methods. Using our theory, we can establish a mapping between network structure and attractor properties that allows the prediction of the effects of network parameters on the steady state firing rate profile and the existence of bumps, and vice-versa, to fine-tune a network to produce bumps of a given shape.

연구 동기 및 목표

• 비선형 동역학을 갖는 연속 압착망에서 안정 상태의 발화율 프로파일을 효율적으로 근사화할 수 있는 일반화 가능한 방법을 개발하기 위해.
• 전체 수치적 시뮬레이션 없이도 미세 구조적 네트워크 매개변수로부터 복합체 압착의 특성(형상, 안정성 등)을 신속하게 예측하기 위해.
• 계산 비용이 낮은 최적화를 통해 전체 시뮬레이션 없이도 원하는 복합체 형상을 얻기 위해 네트워크 매개변수를 조정할 수 있도록 하기 위해.
• 차원 감소를 통해 평균장 접근법을 연속 압착망으로 확장하면서도 생물학적으로 중요한 비선형성(예: NMDA 전도도, 적응성 등)을 유지하기 위해.
• 간단한 발화율 모델과 복잡한 전도도 기반 적분-화이어 스파이크 네트워크 모델 모두에서 방법의 타당성을 검증하기 위해.

제안 방법

• 공간적 발화율 프로파일을 저차원 기저(예: 가우시안 또는 푸리에 모드)로 매개변수화하여 시스템의 효과적 차원을 감소시킴.
• 저차원 매개변수에 대한 평균 막전위와 발화율을 표현함으로써 네트워크의 안정 상태에 대한 자기일관성 방정식을 유도함.
• 입력 통계(평균 및 분산)로부터 발화율을 계산하기 위해 시거트 공식을 사용함으로써 인구 활동을 효율적으로 계산할 수 있도록 함.
• 저차원 매개변수 공간에서 수치 최적화를 적용하여 복합체 형상 예측 또는 조정을 수행함으로써 전체 시뮬레이션 대비 계산 비용을 크게 감소시킴.
• 비선형 동역학을 갖는 발화율 기반 및 스파이크 기반 신경망에서 전체 네트워크 시뮬레이션과의 비교를 통해 방법의 타당성을 검증함.
• 전압 의존성 NMDA 시냅스, 적응성, 전도도 기반 동역학과 같은 생리학적으로 현실적인 특성을 근사 프레임워크에 통합함.

실험 결과

연구 질문

• RQ1 비선형 신경 동역학을 갖는 연속 압착망에서 저차원 매개변수화가 안정 상태의 발화율 프로파일을 정확하게 예측할 수 있는가?
• RQ2 이 방법은 전체 시뮬레이션 대비 네트워크 매개변수의 영향을 복합체 형상과 존재성에 대해 얼마나 효율적으로 예측할 수 있는가?
• RQ3 이 방법을 사용하여 전체 시뮬레이션 없이도 원하는 복합체 형상을 얻기 위해 네트워크 매개변수를 설계하는 역설계 문제를 해결할 수 있는가?
• RQ4 NMDA 전도도와 적응성과 같은 복잡한 생물물리적 특성을 포함할 경우, 근사의 정확도가 어느 정도 유지되는가?
• RQ5 이 방법은 스파이크 기반 신경망을 포함한 다양한 네트워크 아키텍처와 매개변수 영역에서 어떻게 스케일링되는가?

주요 결과

• 저차원 매개변수화는 발화율 기반 및 전도도 기반 스파이크 네트워크 모두에서 복합체 압착 프로파일을 정확하게 예측할 수 있었으며, 테스트된 구성에서 예측 오차는 10% 이내였다.
• 저차원 방법을 사용하여 목표 복합체 형상을 얻기 위한 네트워크 매개변수 최적화는 몇 초 내로 수행되었으며, 전체 시뮬레이션 대비 수 시간 또는 수 일의 시간이 소요되는 것과 대비되었다.
• 이 방법은 분석적으로 다루기 어려운 비선형 NMDA 동역학과 적응성이 복합체 안정성과 너비에 미치는 영향을 성공적으로 포착하였다.
• 스파이크 네트워크 시뮬레이션에서 예측된 발화율 프로파일은 특히 넓고 안정된 복합체의 경우 시뮬레이션 결과와 높은 정밀도로 일치하였다.
• 이 방법은 최적화 문제의 효과적 차원을 수 개의 주요 차원으로 감소시켜 네트워크 매개변수의 효율적 역설계를 가능하게 하였다.
• 이 방법은 거리에 따라 변화하는 연결성과 이질적인 시냅스 동역학을 갖는 네트워크 아키텍처 전반에 걸쳐 일반화되었으며, 다양한 아키텍처에 잘 적용되었다.