[논문 리뷰] Dendritic error backpropagation in deep cortical microcircuits

João Sacramento, Rui Ponte Costa외 2명|arXiv (Cornell University)|2017. 12. 30.

Neural dynamics and brain function참고 문헌 47인용 수 35

한 줄 요약

이 논문은 피라미드 뉴런의 apical dendrite에서의 예측 오차 계산을 통해 콘크리트 미세회로에서 딥 러닝을 위한 생물학적으로 타당한 메커니즘을 제안한다. 피라미드 뉴런은 상행 피드백과 횡방향 억제 사이의 불일치를 통해 apical dendrite에서 예측 오차를 계산하며, 이는 베이스 dendrite에서의 시냅스 가소성 변화를 이끈다. 이 모델은 딥 네트워크에서의 백프로파게이션을 근사하며, MNIST 분류 및 재구성 작업에서 성능을 보이며, 확장된 기능을 통해 주의 유사한 노이즈 제거와 프로토타입 생성이 가능하다.

ABSTRACT

Animal behaviour depends on learning to associate sensory stimuli with the desired motor command. Understanding how the brain orchestrates the necessary synaptic modifications across different brain areas has remained a longstanding puzzle. Here, we introduce a multi-area neuronal network model in which synaptic plasticity continuously adapts the network towards a global desired output. In this model synaptic learning is driven by a local dendritic prediction error that arises from a failure to predict the top-down input given the bottom-up activities. Such errors occur at apical dendrites of pyramidal neurons where both long-range excitatory feedback and local inhibitory predictions are integrated. When local inhibition fails to match excitatory feedback an error occurs which triggers plasticity at bottom-up synapses at basal dendrites of the same pyramidal neurons. We demonstrate the learning capabilities of the model in a number of tasks and show that it approximates the classical error backpropagation algorithm. Finally, complementing this cortical circuit with a disinhibitory mechanism enables attention-like stimulus denoising and generation. Our framework makes several experimental predictions on the function of dendritic integration and cortical microcircuits, is consistent with recent observations of cross-area learning, and suggests a biological implementation of deep learning.

연구 동기 및 목표

• 뇌에서 장기간 해결되지 않은 신경 회로의 신경 결합 수정이 여러 처리 단계에서 조율되어 원하는 행동 결과를 이끌어내야 하는 신경 회로의 신경 회로적 책임 할당 문제를 해결하기 위해.
• 특정 수상세포와 시냅스 가소성의 생물학적 타당성을 갖춘 전통적인 백프로파게이션의 대안을 제안하기 위해, 특히 콘크리트 미세회로 아키텍처 내에서 시냅스 가소성의 생물학적 타당성을 갖춘 전통적인 백프로파게이션의 대안을 제안하기 위해.
• 상행 피드백과 횡방향 억제 간의 불일치에서 기인하는 국소적 덴드리트 예측 오차가 깊이 있는 다영역 신경망에서 효과적인 학습을 이끌 수 있음을 보여주기 위해.
• 억제 기전을 통한 탈억제 메커니즘을 도입하여 학습된 프로토타입의 재생과 입력 노이즈 제거를 가능하게 하여 주의 기능을 모방하기 위해.

제안 방법

• 모델는 세 개의 별도된 세포체, 베이스, 그리고 아피칼 분화를 가진 피라미드 뉴런을 사용하며, 아피칼 덴드라이트는 하류 영역으로부터의 상행 피드백과 색소세포 유전자 발현을 하는 (SST) 수상세포에 의한 횡방향 억제를 통합한다.
• 예측 오차는 아피칼 덴드라이트 전위와 예측된 상행 입력 간의 편차로 표현되며, 오차 신호는 세포체로 전파되어 베이스 덴드라이트 시냅스에서 가소성 변화를 유도한다.
• 시냅스 가소성은 오차 신호에서 유도된 국소 학습 규칙에 의해 결정되며, 학습 안정성을 높이기 위해 오차의 저통과 필터링된 형태에 기반한 가중치 갱신이 이루어진다.
• 네트워크는 두 단계의 역동성으로 학습된다: 먼저 하향식 활성화가 전방으로 계산되고, 그 다음 상행 피드백이 역순서로 적용되어 수상세포와 피라미드 뉴런의 전위를 갱신한다.
• VIP 수상세포를 포함한 탈억제 메커니즘이 도입되어, 재생 중에 횡방향 억제를 선택적으로 억제함으로써 학습된 프로토타입의 재생과 입력 노이즈 제거가 가능해진다.
• 모델는 디지털 시간 기반의 두 단계 업데이트 규칙을 사용하여, 계산 비용을 줄인 반복 동역학을 근사함으로써 MNIST 분류 및 재구성 작업에서 검증된다.

실험 결과

연구 질문

• RQ1 아피칼 분화에서의 덴드리트 예측 오차가 백프로파게이션의 전역 오차 신호에 대한 생물학적으로 타당한 대체가 될 수 있는가?
• RQ2 국소적 시냅스 가소성은 깊이 있는 네트워크에서 백프로파게이션을 근사하기 위해 어떻게 덴드리트 오차 신호에 의해 이끌릴 수 있는가?
• RQ3 학습된 수상세포 연결을 통해 네트워크가 상행 피드백을 예측하고 제거함으로써 자기 일관성 있는 네트워크 작동이 가능해지는가?
• RQ4 탈억제 메커니즘의 추가로 네트워크는 입력 노이즈 제거와 학습된 자극의 프로토타입 생성 기능을 수행할 수 있는가?

주요 결과

• 모델는 표준 딥 러닝 벤치마크와 유사한 테스트 오차율을 기록하며 MNIST 손글씨 숫자를 효과적으로 분류함으로써, 여러 콘크리트 영역에 걸친 효과적인 책임 할당을 보여준다.
• 특히 낮은 덴드라이트 결합 조건에서 전역 백프로파게이션 알고리즘을 근사하는 국소적 덴드라이트 오차 신호를 통해 네트워크는 안정적인 학습을 달성한다.
• 횡방향 억제를 억제하는 탈억제 모드를 활용하여 노이즈가 섞인 입력에서 깨끗한 이미지를 재구성함으로써 효과적인 자극 노이즈 제거가 가능하다.
• 상행에서 하행으로 향하는 탈억제 재생 모드로 실행함으로써 학습된 숫자 클래스의 프로토타입 표현을 생성할 수 있으며, 일관된 이미지 재구성 결과를 도출한다.
• 모델의 성능은 노이즈와 초기화에 대해 강건하며, 시냅스 가소성 유도 신호의 저통과 필터링으로 학습이 안정화된다.
• 이 프레임워크는 실험적으로 검증 가능한 예측을 제시한다. 예를 들어, SST 및 VIP 수상세포가 학습 중 예측 오차를 인코딩하고 조절하는 역할을 한다는 점.