[논문 리뷰] Can Single Neurons Solve MNIST? The Computational Power of Biological Dendritic Trees

Ilenna Jones, Konrad P. Körding|arXiv (Cornell University)|2020. 09. 02.

Neural dynamics and brain function참고 문헌 45인용 수 12

한 줄 요약

이 논문은 비선형 수상성 수상체를 갖춘 생물학적으로 영감을 받은 뉴런 모델을 제안하며, 이는 임계값이 설정된 선형 단위로 구성된 수상성 수상체를 통해 복잡한 이미지 분류 작업(MNIST 및 CIFAR-10 포함)을 해결할 수 있음을 보여준다. 여러 수상성 가지에 걸쳐 입력을 반복함으로써, 이 모델은 완전히 연결된 신경망에 근접한 성능을 달성하며, 수상성 비선형성과 시냅스 반복이 전통적인 점 뉴런 모델을 초월해 계산 능력을 크게 향상시킨다는 점을 드러낸다.

ABSTRACT

Physiological experiments have highlighted how the dendrites of biological neurons can nonlinearly process distributed synaptic inputs. This is in stark contrast to units in artificial neural networks that are generally linear apart from an output nonlinearity. If dendritic trees can be nonlinear, biological neurons may have far more computational power than their artificial counterparts. Here we use a simple model where the dendrite is implemented as a sequence of thresholded linear units. We find that such dendrites can readily solve machine learning problems, such as MNIST or CIFAR-10, and that they benefit from having the same input onto several branches of the dendritic tree. This dendrite model is a special case of sparse network. This work suggests that popular neuron models may severely underestimate the computational power enabled by the biological fact of nonlinear dendrites and multiple synapses per pair of neurons. The next generation of artificial neural networks may significantly benefit from these biologically inspired dendritic architectures.

연구 동기 및 목표

• 단일 생물학적 뉴런이 비선형 수상성 수상체를 갖추고 있을 경우, MNIST 분류와 같은 복잡한 기계학습 작업을 수행할 수 있는지 조사하기.
• 수상성 뉴런 모델의 계산 능력에 미치는 반복적 시냅스 입력의 영향을 평가하기.
• 수상성 구조를 가진 모델의 성능를 선형 분류기와 완전히 연결된 신경망(FCNN)과 비교하기.
• 생물학적으로 타당한 수상성 구조와 시냅스 반복이 인공 신경망의 학습 능력을 향상시킬 수 있는지 탐색하기.
• 인공 신경망에서 점 뉴런 모델이 실제 생물학적 뉴런의 계산 능력을 정확히 반영한다는 가정을 도전하기.

제안 방법

• 모델은 각 노드가 임계값이 설정된 선형 단위인 이진수 나무 구조를 사용하며, 이는 비선형 통합을 시뮬레이션하는 수상성 분절을 모방한다.
• 각 입력은 수상성 수상체의 여러 가지로 분배되며, 반복 횟수는 매개변수 k로 제어된다.
• 네트워크는 MNIST 및 EMNIST를 포함한 7개의 고차원 이진 이미지 분류 작업에서 표준 딥러닝 최적화 기법을 사용해 훈련된다.
• 성능 평가 시 k-트리 모델을 선형 분류기(하한선)와 유사한 아키텍처를 가진 완전히 연결된 신경망(상한선)과 비교한다.
• 생물학적 제약을 반영하기 위해 희박하고 가중치 공유가 없는 구조를 강제로 적용하며, 컨볼루션이나 공유 가중치가 없도록 한다.
• 입력을 벡터화하고 순서를 정렬하여 입력 순서에 대한 민감도를 테스트하며, 무작위 순서로 정렬한 경우 성능이 떨어지는 것으로 나타났다.

실험 결과

연구 질문

• RQ1 비선형 수상성 수상체 아키텍처를 가진 단일 뉴런이 MNIST 이미지 분류 작업을 해결할 수 있는가?
• RQ2 여러 수상성 가지에 걸쳐 시냅스 입력이 반복될 경우, 단일 뉴런 모델의 계산 성능에 어떤 영향을 미치는가?
• RQ3 생물학적으로 제약된 희박한 신경망 모델이 완전히 연결된 신경망과 비슷한 성능을 달성할 수 있는 정도는 어느 정도인가?
• RQ4 임계값이 설정된 선형 단위로 구성된 수상성 수상체 구조가 선형 점 뉴런 모델보다 유의미한 성능 향상을 제공하는가?
• RQ5 입력 순서는 수상성 뉴런 모델의 성능에 어떤 영향을 미치는가?

주요 결과

• k=32인 k-트리 모델은 유사한 완전히 연결된 신경망(FCNN)과 거의 동일한 성능을 MNIST에서 달성했다.
• FMNIST, EMNIST 및 USPS 작업에서 32-트리 모델은 매우 제약된 아키텍처에도 불구하고 FCNN의 성능을 그대로 따라잡았다.
• 모든 작업에서 k=1에서 k=32로 증가함에 따라 성능이 일관되게 향상되었으며, 이는 반복된 입력이 계산 능력을 향상시킨다는 것을 시사한다.
• 모델은 모든 작업에서 선형 분류기보다 뛰어난 성능을 보이며, 수상성 비선형성이 성능 향상에 크게 기여한다는 것을 입증했다.
• 입력 순서를 무작위로 변경하면 성능이 떨어졌으며, 이는 입력의 구조와 순서가 모델의 효과성에 영향을 미친다는 것을 시사한다.
• 결과적으로 생물학적 수상성 구조와 반복된 시냅스 입력이 단일 뉴런 계산 능력을 향상시키는 데 핵심적인 역할을 하며, 점 뉴런 모델의 한계를 도전할 수 있음을 시사한다.