[논문 리뷰] The computational and learning benefits of Daleian neural networks

Adam Haber, Elad Schneidman|arXiv (Cornell University)|2022. 10. 12.

Advanced Memory and Neural Computing인용 수 4

한 줄 요약

이 논문은 뉴런이 엄격히 흥분성 또는 억제성일 뿐인 Dalian 신경망이, 훨씬 더 작은 아키텍처 탐색 공간을 가짐에도 불구하고 비-Daleian 네트워크의 계산을 높은 정확도로 근사할 수 있음을 보여준다. 놀랍게도, Dalian 네트워크는 시냅스 잡음에 대해 뛰어난 내성을 보이며, 전통적인 시냅스 가중치 학습과 맞먹는 효율적인 뉴런 수준의 매개변수 조정을 통해 빠르게 학습할 수 있다. 이는 뇌 기반 인공 네트워크에 생물학적이고 계산적인 이점이 있음을 시사한다.

ABSTRACT

Dale's principle implies that biological neural networks are composed of neurons that are either excitatory or inhibitory. While the number of possible architectures of such Daleian networks is exponentially smaller than non-Daleian ones, the computational and functional implications of using Daleian networks by the brain are mostly unknown. Here, we use models of recurrent spiking neural networks and rate-based networks to show, surprisingly, that despite the structural limitations on Daleian networks, they can approximate the computation performed by non-Daleian networks to a very high degree of accuracy. Moreover, we find that Daleian networks are more functionally robust to synaptic noise. We then show that unlike non-Daleian networks, Daleian ones can learn efficiently by tuning single neuron features, nearly as well as learning by tuning individual synaptic weights - suggesting a simpler and more biologically plausible learning mechanism. We thus suggest that in addition to architectural simplicity, Dale's principle confers computational and learning benefits for biological networks, and offers new directions for constructing and training biologically-inspired artificial neural networks

연구 동기 및 목표

• Dale의 원칙—뉴런을 흥분성 또는 억제성 기능으로만 제한하는 것—신경망의 계산적 손해를 초래하는지 여부를 조사하는 것.
• 자극을 인코딩하고 계산을 수행하는 데 있어, Dalian 및 비-Daleian 순환 신경망의 기능적 능력을 비교하는 것.
• Dalian 네트워크의 시냅스 잡음에 대한 내성과 뉴런 수준의 학습 대 시냅스 수준의 학습에 의한 학습 효율성을 평가하는 것.
• Dalian 네트워크가 표준 인공 신경망의 계산적으로 강력하고 생물학적으로 타당한 대안이 될 수 있는지 탐색하는 것.

제안 방법

• 대규모 순환 스파iking 및 레이트 기반 신경망을 시뮬레이션하여 Dalian 및 비-Daleian 연결 패턴을 모두 사용하였다.
• 자극과 신경 반응 간 상호정보량을 사용하여 인코딩 성능 및 기능 유사도를 정량화하였다.
• 시냅스 학습(가중치 조정)과 뉴런 학습(임계값 또는 이득과 같은 뉴런 전용 매개변수 조정)을 사용하여 네트워크를 훈련시켰다.
• 스피킹 활동 분포에서의 반응 겹침을 통해 비-Daleian 및 Dalian 네트워크 간의 기능 유사도를 측정하였다.
• 임의의 시냅스 잡음을 도입하여 성능 저하를 측정함으로써 내성을 평가하였다.
• 랜덤 및 구조적 시냅스 가중치 분포(예: 로그정규 분포 가중치 포함)를 사용하여 연결 패턴을 탐색하였다.

실험 결과

연구 질문

• RQ1 Daleian 신경망은 비-Daleian 네트워크의 계산 기능을 높은 정확도로 근사할 수 있는가?
• RQ2 시냅스 잡음은 Dalian 네트워크와 비-Daleian 네트워크의 기능적 내성에 어떤 영향을 미치는가?
• RQ3 Daleian 네트워크에서 시냅스 가중치 조정에 비해 뉴런 수준의 매개변수 조정을 통해 얼마나 높은 수준의 학습이 가능할 수 있는가?
• RQ4 구조적 유연성 감소에도 불구하고 Dalian 네트워크의 기능적 이점은 무엇인가?

주요 결과

• Daleian 네트워크는 임의의 비-Daleian 네트워크의 자극-반응 기능을 거의 완벽한 정확도로 근사할 수 있으며, 내재된 생물학적 잡음 수준과 동일한 수준이다.
• Daleian 네트워크는 비-Daleian 네트워크보다 랜덤 시냅스 잡음에 대해 훨씬 더 높은 내성을 보이며, 더 높은 기능적 안정성을 나타낸다.
• Daleian 네트워크에서 뉴런 수준의 학습은 시냅스 학습과 비교해 비슷한 성능을 달성하며, 더 단순하고 생물학적으로 타당한 학습 메커니즘을 시사한다.
• 일반적으로 뉴런 수준의 학습을 사용할 경우, Dalian 네트워크는 자극과 신경 반응 간 상호정보량에서 비-Daleian 네트워크를 초월한다.
• 랜덤으로 샘플링된 Dalian 네트워크는 실제 신경망과 유사하게 양의 왜도를 보이는 쌍별 상관관계를 보이며, 반면 비-Daleian 네트워크는 균형 잡힌 상관관계 분포를 나타낸다.
• 결과적으로, Dale의 원칙과 같은 구조적 제약이 생물학적 및 인공 신경망의 계산 및 학습 성질을 향상시킬 수 있음을 시사한다.