[논문 리뷰] Biologically feasible deep learning with segregated dendrites

Jordan Guergiuev, Timothy Lillicrap외 1명|arXiv (Cornell University)|2016. 10. 01.

Advanced Memory and Neural Computing참고 문헌 37인용 수 5

한 줄 요약

이 논문은 전기적 고립된 dendrite를 가진 다중 구획 신경세포를 사용하는 생물학적으로 타당한 딥 러닝 모델을 제안하며, 이는 계층적인 표현을 학습함으로써 우수한 이미지 분류 성능을 달성한다. 이는 딥 러닝이 대뇌皮질 Pyramidal 뉴런과 유사한 신경 구조에서 유래할 수 있음을 보여준다.

ABSTRACT

Deep learning has led to significant advances in artificial intelligence, in part, by adopting strategies motivated by neurophysiology. However, it is unclear whether deep learning could occur in the real brain. Here, we show that a deep learning algorithm that utilizes multi-compartment neurons might help us to understand how the brain optimizes cost functions. Like neocortical pyramidal neurons, neurons in our model receive sensory information and higher-order feedback in electrotonically segregated compartments. Thanks to this segregation, the neurons in different layers of the network can coordinate synaptic weight updates. As a result, the network can learn to categorize images better than a single layer network. Furthermore, we show that our algorithm takes advantage of multilayer architectures to identify useful representations---the hallmark of deep learning. This work demonstrates that deep learning can be achieved using segregated dendritic compartments, which may help to explain the dendritic morphology of neocortical pyramidal neurons.

연구 동기 및 목표

• 뇌에서 생물학적으로 현실적인 신경 기제를 사용하여 딥 러닝이 발생할 수 있는지 조사하기 위해.
• 전기적 고립된 dendritic 구획이 신경망의 다층적 시냅스 가소성에 어떻게 기여할 수 있는지 탐구하기 위해.
• 이러한 모델이 인공 딥 러닝과 유사한 계층적 표현을 학습할 수 있는지 확인하기 위해.
• 전기적 고립된 dendrite를 갖춘 다층 아키텍처가 비용 함수를 효과적으로 최적화할 수 있음을 보여주기 위해.

제안 방법

• 모델는 대뇌皮질 Pyramidal 뉴런을 영감으로 삼은 다중 구획 신경세포를 사용하며, 감각 입력과 고차원 피드백에 대해 별도의 dendritic 구획을 할당한다.
• 전후 시냅스 활동의 구획화된 통합을 통해 계층 간에 시냅스 가중치 업데이트가 조율된다.
• 신경망은 dendritic 구획의 전기적 고립을 활용하여 국소적이고 계층별로 특화된 가소성 규칙을 적용한다.
• 구조적 특성상 더 깊은 계층에서 더 추상적인 표현을 학습할 수 있는 계층적 특징 추출 기능을 제공한다.
• 성능와 표현 품질 평가를 위해 이미지 분류 작업을 통해 모델를 훈련시킨다.

실험 결과

연구 질문

• RQ1 전기적 고립된 dendrite를 가진 신경세포를 사용하여 딥 러닝을 달성할 수 있는가?
• RQ2 고립된 dendritic 구획은 어떻게 네트워크 계층 간의 조율된 학습을 가능하게 하는가?
• RQ3 이 모델은 인공 딥 러닝과 유사한 유용한 계층적 표현을 학습하는가?
• RQ4 이러한 생물학적으로 타당한 메커니즘이 이미지 분류에서 단일 계층 네트워크를 능가하는가?

주요 결과

• 단일 계층 네트워크보다 더 나은 이미지 분류 성능을 보이며, 깊이의 이점을 입증한다.
• 고립된 dendritic 구획의 사용이 계층 간 시냅스 가중치 업데이트의 효과적인 조율을 가능하게 한다.
• 네트워크는 계층적 표현을 발달시키며, 더 깊은 계층에서 더 추상적인 특징을 포착한다.
• 다층 아키텍처를 활용함으로써 성능 향상을 달성하며, 딥 러닝의 주요 특징과 일치한다.