[논문 리뷰] Deep learning with segregated dendrites

Jordan Guergiuev, Timothy Lillicrap외 1명|arXiv (Cornell University)|2016. 10. 01.

Neural dynamics and brain function참고 문헌 6인용 수 7

한 줄 요약

이 논문은 전기적 격리된 수상돌기로 분리된 다중 구획 신경망을 사용하여 계층적 학습을 가능하게 하는 생물학적으로 타당한 딥러닝 모델을 제안한다. 감각 자극과 피드백 신호를 별도의 수상돌기 구획으로 분리함으로써, 여러 층을 걸친 시냅스 가중치 갱신을 조율할 수 있으며, 효과적인 역전파 유사 학습과 향상된 이미지 분류 성능을 달성한다. 이는 딥러닝이 대뇌皮질 Pyramidal 뉴런과 유사한 신경 구조에서 유래할 수 있음을 보여준다.

ABSTRACT

Deep learning has led to significant advances in artificial intelligence, in part, by adopting strategies motivated by neurophysiology. However, it is unclear whether deep learning could occur in the real brain. Here, we show that a deep learning algorithm that utilizes multi-compartment neurons might help us to understand how the brain optimizes cost functions. Like neocortical pyramidal neurons, neurons in our model receive sensory information and higher-order feedback in electrotonically segregated compartments. Thanks to this segregation, the neurons in different layers of the network can coordinate synaptic weight updates. As a result, the network can learn to categorize images better than a single layer network. Furthermore, we show that our algorithm takes advantage of multilayer architectures to identify useful representations---the hallmark of deep learning. This work demonstrates that deep learning can be achieved using segregated dendritic compartments, which may help to explain the dendritic morphology of neocortical pyramidal neurons.

연구 동기 및 목표

• 딥러닝이 생물학적으로 현실적인 신경 구조에서 어떻게 구현될 수 있는지 조사하기 위해.
• 전기적 격리된 수상돌기 구획이 여러 층을 걸친 조율된 학습을 어떻게 지원할 수 있는지 탐색하기 위해.
• 이러한 모델이 인공 딥러닝과 유사한 유용한 계층적 표현을 학습할 수 있는지 확인하기 위해.
• 인공 딥러닝과 생물학적 신경 계산 간 격차를 메우기 위해.

제안 방법

• 대뇌皮質 Pyramidal 세포를 영감으로 삼은 다중 구획 신경망을 사용하며, 감각 자극과 고차원 피드백을 위한 별도의 수상돌기 구획을 마련한다.
• 감각 자극은 한쪽 수상돌기 구획에서 처리되고, 더 높은 층의 피드백 신호는 별도의 구획을 향한다.
• 이러한 분리된 구획 간의 상호작용을 통해 여러 층을 걸친 시냅스 가중치 갱신이 조율되며, 오차 역전파 유사 학습이 가능해진다.
• 비용 함수 최적화를 위해 전구와 후구의 활동이 구획화된 통합을 활용하는 학습 규칙을 사용한다.
• 깊이가 깊어질수록 점점 더 추상적인 표현을 추출할 수 있는 계층적 특징 학습이 가능하다.

실험 결과

연구 질문

• RQ1 전기적으로 격리된 수상돌기 구획을 가진 신경 구조에서 딥러닝을 달성할 수 있는가?
• RQ2 분리된 수상돌기 구획은 어떻게 여러 층을 걸친 조율된 학습을 가능하게 하는가?
• RQ3 이러한 모델은 인공 딥 네트워크와 유사한 계층적 표현을 학습할 수 있는가?
• RQ4 이 메커니즘은 대뇌皮質 Pyramidal 뉴런 수상돌기의 형태학적 전문화를 설명할 수 있는가?

주요 결과

• 단일 층 네트워크보다 이미지 분류 성능이 뛰어나 깊이의 이점을 입증한다.
• 분리된 수상돌기 구획의 사용은 생물학적으로 타당한 프레임워크 내에서 효과적인 역전파 유사 학습을 가능하게 한다.
• 네트워크는 유용한 계층적 표현을 식별하며, 이는 딥러닝의 핵심적 특징이다.
• 결과는 대뇌皮质 Pyramidal 뉴런의 형태학적 구조가 딥러닝을 위해 적응된 것으로 보인다.