[논문 리뷰] Towards deep learning with segregated dendrites

Jordan Guergiuev, Timothy Lillicrap외 1명|arXiv (Cornell University)|2016. 10. 01.

Advanced Memory and Neural Computing인용 수 7

한 줄 요약

이 논문은 배포된 분지(dendrites)를 가진 다중 구획 신경망을 사용하여 백프로파게이션 없이 신용 할당 문제를 해결하는 생물학적으로 타당한 딥러닝 알고리즘을 제안한다. 감각 자극과 피드백 신호를 별도의 분지 구획에 분리하여 입력함으로써, 계층적 네트워크는 국소 시냅스 가소성에 의해 계층적 표현을 학습할 수 있으며, 단일층 네트워크보다 훨씬 뛰어난 이미지 분류 성능을 달성한다.

ABSTRACT

Deep learning has led to significant advances in artificial intelligence, in part, by adopting strategies motivated by neurophysiology. However, it is unclear whether deep learning could occur in the real brain. Here, we show that a deep learning algorithm that utilizes multi-compartment neurons might help us to understand how the brain optimizes cost functions. Like neocortical pyramidal neurons, neurons in our model receive sensory information and higher-order feedback in electrotonically segregated compartments. Thanks to this segregation, the neurons in different layers of the network can coordinate synaptic weight updates. As a result, the network can learn to categorize images better than a single layer network. Furthermore, we show that our algorithm takes advantage of multilayer architectures to identify useful representations---the hallmark of deep learning. This work demonstrates that deep learning can be achieved using segregated dendritic compartments, which may help to explain the dendritic morphology of neocortical pyramidal neurons.

연구 동기 및 목표

• 생물학적 신경망에서 시냅스 변화가 후행 연결에 의존하는 신용 할당 문제에 장기적으로 대처하기 위해.
• 특히 기저부 및 수상부 분지를 분리한 소형 피라미드형 뉴런의 해부학적 특성과 잘 맞는 신경생리학적으로 알려진 사실과 호환되는 학습 알고리즘을 개발하기 위해.
• 다중 구획 신경망에서 국소 시냅스 가소성 규칙이 계층적 표현 학습을 어떻게 유도할 수 있는지 보여주기 위해.
• 비생물학적으로 부적절한 비국소적 가중치 전송 또는 대칭 피드백을 피하면서 뇌에서의 딥러닝을 가능하게 하는 메커니즘을 제공하기 위해.
• 해당 모델이 단일층 네트워크보다 이미지 분류 과제에서 성능이 뛰어나다는 것을 입증함으로써 그 功能적 효용성을 검증하기 위해.

제안 방법

• 감각 자극은 기저부 분지로, 피드백 신호는 수상부 분지로 입력받는 다중 구획 신경망을 사용하여 피라미드형 뉴런의 해부학을 모방한다.
• 기저부 및 수상부 분지에 대해 별도의 학습 규칙을 적용: 기저부 분지는 전·후단 활동에 기반한 국소적 히브스 유사 가소성 규칙을 사용한다.
• 수상부 분지는 고차원 레이어로부터 오는 피드백 오차 신호를 수신하며, 이는 비국소적이지만 생물학적으로 타당한 메커니즘을 통해 기저부 분지의 가소성 조절에 기여한다.
• 학습 동역학의 안정성과 수렴성을 확보하기 위해 평균 발화 빈도를 기반으로 오차 신호에 스케일링 인자를 도입한다.
• 다양한 구획의 도전도(gB, gA, gD, gL)를 포함한 누설 적분-화염 모델을 사용하여 분지 통합의 생물물리적 특성을 시뮬레이션한다.
• 시간 평균 윈도우(Δt ≥ 50 ms)를 적용하여 평균 postsynaptic 전위를 계산함으로써, 생물학적으로 현실적인 조건 하에서 기대되는 PSP가 평균 전시냅스 빈도와 근사적으로 일치하도록 보장한다.

실험 결과

연구 질문

• RQ1 백프로파게이션 또는 가중치 전송 없이 생물학적으로 현실적인 신경망에서 딥러닝이 유도될 수 있는가?
• RQ2 피라미드형 뉴런의 분리된 분지 구획이 국소 가소성 규칙을 통해 계층적 표현 학습을 지원할 수 있는가?
• RQ3 제안된 모델이 이미지 분류 과제에서 단일층 네트워크보다 성능이 뛰어나게 되는가?
• RQ4 고차원 레이어의 피드백 신호가 비국소적 가중치 정보 없이도 하위 레이어의 분지에서의 가소성에 영향을 주는가?
• RQ5 생물학적으로 타당한 시간 상수와 발화 빈도 하에서 학습 규칙이 강인한가?

주요 결과

• 모델은 백프로파게이션 없이도 다층 아키텍처에서 계층적 표현을 성공적으로 학습하여 단일층 네트워크보다 더 나은 이미지 분류 성능을 달성한다.
• 성능 향상은 네트워크가 레이어 간에 점점 더 추상적인 표현을 식별할 수 있다는 능력 덕분이며, 이는 딥러닝의 특징이다.
• 평균 윈도우 Δt가 충분히 길 경우 기대되는 postsynaptic 전위(PSP)는 평균 전시냅스 발화 빈도와 매우 유사하게 근사되며, 이는 학습 동역학의 안정성을 검증한다.
• 모델는 생물학적으로 타당한 파rameters로 작동한다: τL = 10 ms, τs = 3 ms, 평균 발화 빈도 ≈ 20 Hz일 때, 근사 오차는 극히 미미함(≈0.001 ms)으로, 단순화된 근사식 E[X][PSP] ≈ λ̄의 타당성을 확인한다.
• 별도의 분지 구획을 사용함으로써 기저부 분지에서 국소 시냅스 가소성이 가능해지면서도, 수상부 분지 피드백을 통해 효과적인 오차 역전파가 가능해져, 가중치 전송 없이도 신용 할당 문제를 해결할 수 있다.
• 모델는 알려진 신경해부학 및 생리학과 잘 맞는 방식으로 딥러닝을 실현할 수 있음을 보여주며, 특히 피라미드형 뉴런에서 입력과 피드백의 분리가 핵심적이다.