[논문 리뷰] Single-phase deep learning in cortico-cortical networks

Will Greedy, Heng Wei Zhu외 3명|arXiv (Cornell University)|2022. 06. 23.

Neural dynamics and brain function인용 수 24

한 줄 요약

BurstCCN은 bursting, STP, 및 수상돌기 표적 interneurons를 이용하여 깊은 피질 네트워크에서 단일 주기의(backprop-like) 크레딧 할당을 제공하며, MNIST와 CIFAR-10 학습을 가능하게 한다.

ABSTRACT

The error-backpropagation (backprop) algorithm remains the most common solution to the credit assignment problem in artificial neural networks. In neuroscience, it is unclear whether the brain could adopt a similar strategy to correctly modify its synapses. Recent models have attempted to bridge this gap while being consistent with a range of experimental observations. However, these models are either unable to effectively backpropagate error signals across multiple layers or require a multi-phase learning process, neither of which are reminiscent of learning in the brain. Here, we introduce a new model, Bursting Cortico-Cortical Networks (BurstCCN), which solves these issues by integrating known properties of cortical networks namely bursting activity, short-term plasticity (STP) and dendrite-targeting interneurons. BurstCCN relies on burst multiplexing via connection-type-specific STP to propagate backprop-like error signals within deep cortical networks. These error signals are encoded at distal dendrites and induce burst-dependent plasticity as a result of excitatory-inhibitory top-down inputs. First, we demonstrate that our model can effectively backpropagate errors through multiple layers using a single-phase learning process. Next, we show both empirically and analytically that learning in our model approximates backprop-derived gradients. Finally, we demonstrate that our model is capable of learning complex image classification tasks (MNIST and CIFAR-10). Overall, our results suggest that cortical features across sub-cellular, cellular, microcircuit and systems levels jointly underlie single-phase efficient deep learning in the brain.

연구 동기 및 목표

• 다층 네트워크에서 크레딧 할당에 대한 생물학적으로 타당한 해결책을 제시하기 위해 동기를 부여한다.
• BurstCCN이 bursting, 짧은 시냅스 가소성(STP), 그리고 수상돌기 표적 interneurons를 사용하여 오차 신호를 전달하도록 제안한다.
• 단일 주기 학습과 백프로파 gradient와의 정렬 분석을 통해 확인한다.
• 다양한 계층적 구성에서의 깊은 이미지 분류 작업(MNIST 및 CIFAR-10) 학습을 보여준다.

제안 방법

• BurstCCN: bursting Cortico-Cortical Networks를 도입하여 distal dendrites에서 오차 신호를 부호화하고 이는 버스트 의존적 가소성을 유도한다.
• Burst Ensemble Multiplexing을 사용하여 추론 신호(비율)와 오차 신호(버스트)를 STD/STF 연결을 통해 분리한다.
• Q (STD) 및 Y (STF) 피드백 경로를 구현하여 역방향 신호를 전달하고 탁상의 포텐셜을 무시하도록 한다.
• 단일 주기 학습을 보여주기 위해 속도기반, 연속시간, 스파이킹 구현을 제공한다.
• 약한 피드백과 대칭성 조건에서 BurstCCN 업데이트가 backpropGradient에 근사하는 것을 분석적으로 제시한다.
• 다양한 피드백 체계(대칭 대 무작위)에서 MNIST와 CIFAR-10에 대해 평가한다.

실험 결과

연구 질문

• RQ1 BurstCCN이 단일 학습 주기에서 여러 계층을 통해 오차 신호를 역전파할 수 있는가?
• RQ2 ,

주요 결과

• BurstCCN은 단일 학습 주기로 학습할 수 있으며, 단일 주기 조건에서 Burstprop를 XOR에서 능가한다.
• 수학적으로 및 경험적으로, 피드백이 약하고 Q-Y 대칭이 존재할 때 BurstCCN 업데이트가 backpropagationGradient에 근사한다.
• 깊은 네트워크를 사용한 MNIST에서 BurstCCN(Q-Y 대칭)은 1.84% 테스트 오차를 달성하며, Burstprop와 유사하고 더 깊은 네트워크에서 EDN보다 낫다.
• CIFAR-10에서 대칭 피드백을 가진 BurstCCN은 22.92% 테스트 오차를 달성하여 대칭 ANN 성능에 근접하고 무작위 피드백 설정보다 낫다.
• Q 피드백 학습 규칙은 탁상 포텐셜을 무음화시켜 단일 주기 학습을 가능하게 하며 다양한 조건에서 backprop/feedback alignment와의 정렬 가능성을 보여준다.
• BurstCCN은 더 깊은 네트워크 및 다이나믹 입력-출력 시나리오에서도 backprop-유사 학습 능력을 유지한다.