[논문 리뷰] Latent Equilibrium: A unified learning theory for arbitrarily fast computation with arbitrarily slow neurons

Paul Haider, Benjamin Ellenberger외 4명|arXiv (Cornell University)|2021. 10. 27.

Neural dynamics and brain function인용 수 7

한 줄 요약

이 논문은 잠재 평형(Latent Equilibrium, LE)을 도입하며, 일반화된 위치와 운동량에 의존하는 분리된 에너지 함수에서 유도된 뉴런 및 시냅스 동역학을 활용하여, 느린 뉴런 네트워크에서 임의로 빠른 추론과 단계 없는 연속 학습을 가능하게 하는 생물학적으로 타당한 학습 프레임워크를 제시한다. 이는 완전히 연결된 구조와 컨볼루션 아키텍처를 사용하여, 매우 짧은 자극 제시 시간과 느린 막 시간 상수 조건에서도 MNIST, HIGGS, CIFAR-10에서 경쟁 가능한 성능을 달성한다.

ABSTRACT

The response time of physical computational elements is finite, and neurons are no exception. In hierarchical models of cortical networks each layer thus introduces a response lag. This inherent property of physical dynamical systems results in delayed processing of stimuli and causes a timing mismatch between network output and instructive signals, thus afflicting not only inference, but also learning. We introduce Latent Equilibrium, a new framework for inference and learning in networks of slow components which avoids these issues by harnessing the ability of biological neurons to phase-advance their output with respect to their membrane potential. This principle enables quasi-instantaneous inference independent of network depth and avoids the need for phased plasticity or computationally expensive network relaxation phases. We jointly derive disentangled neuron and synapse dynamics from a prospective energy function that depends on a network's generalized position and momentum. The resulting model can be interpreted as a biologically plausible approximation of error backpropagation in deep cortical networks with continuous-time, leaky neuronal dynamics and continuously active, local plasticity. We demonstrate successful learning of standard benchmark datasets, achieving competitive performance using both fully-connected and convolutional architectures, and show how our principle can be applied to detailed models of cortical microcircuitry. Furthermore, we study the robustness of our model to spatio-temporal substrate imperfections to demonstrate its feasibility for physical realization, be it in vivo or in silico.

연구 동기 및 목표

• 계층적 신경망에서 발생하는 반응 지연이라는 근본적 문제를 해결함으로써, 추론 지연과 학습 중 시간 불일치 문제를 완화하고자 한다.
• 생물학적으로 타당한 역전파 구현에서 회복 단계나 단계적 가소성에 의존하는 문제를 해결하고자 한다.
• 지속적이고 국소적이며 비동기적인 학습을 가능하게 하기 위해, 잠재적 출력 메커니즘을 도입함으로써 임의로 느린 뉴런으로 구성된 네트워크에서도 학습을 가능하게 하고자 한다.
• 연속 시간, 누설 적분기 뉴런 동역학에서 추론과 학습을 동시에 지원하는 통합 이론적 프레임워크를 제공하고자 한다.
• 스페이스-타임적 결함이 존재하는 세부적인皮질 미세회로 모델과 물리적 기초 구조에서의 구현 가능성을 입증하고자 한다.

제안 방법

• 일반화된 위치와 운동량에 의존하는 공동 잠재 에너지 함수에서 뉴런 및 시냅스 동역학을 유도함으로써 동적 분리가 가능하도록 한다.
• 뉴런이 현재 입력을 바탕으로 미래 상태를 예측하는 '잠재적' 출력 메커니즘을 도입하여, 회복 단계가 필요 없도록 한다.
• 뉴런 동역학은 연속 시간, 누설 적분기 모델로 모델링되며, 막 시간 상수가 임의로 느릴 수 있다.
• 시냅스 가소성은 계속 활성화되고 국소적이며, 별도의 학습 단계가 필요 없도록 한다.
• 에너지 함수는 뉴런과 시냅스 동역학을 분리하도록 설계되어, 학습 중에 발생하는 간섭적 상호의존성을 제거한다.
• 소프트웨어 및 하드웨어 모두에서 모델을 구현하였으며, 공간-시간적 기초 구조의 결함에 대한 저항성도 시험하였다.

실험 결과

연구 질문

• RQ1 느린 뉴런으로 구성된 깊은 네트워크에서, 회복 단계나 단계적 가소성이 필요 없이 거의 즉각적인 추론을 달성할 수 있는 학습 프레임워크가 존재하는가?
• RQ2 누설 적분기 뉴런 네트워크에서 연속적이고 국소적이며 비동기적인 가소성과 함께 생물학적으로 타당한 역전파를 어떻게 구현할 수 있는가?
• RQ3 자극 제시 시간이 뉴런 막 시간 상수보다 훨씬 짧을 경우, 학습 성능이 얼마나 유지될 수 있는가?
• RQ4 제안된 프레임워크는 세밀한 피질 미세회로 모델에 적용되어 실시간, 단계 없는 학습을 가능하게 할 수 있는가?
• RQ5 뉴모르픽 또는 생체 내 구현에서 노이즈와 타이밍 제트와 같은 물리적 기초 제약 조건에 대해 이 프레임워크는 얼마나 저항성이 있는가?

주요 결과

• 완전히 연결된 네트워크를 사용하여 Latent Equilibrium 모델은 MNIST에서 1.98±0.11%의 테스트 오차를 기록했으며, HIGGS에서는 27.6±0.4%를 기록하여, 인공 신경망에서 표준 역전파와 동일한 성능을 달성한다.
• 피드백 정렬(feedback alignment)을 사용할 경우, MNIST에서 2.6±0.1%의 오차를 기록하여, 비미분 가능한 가중치 갱신과의 호환성을 입증한다.
• 막 시간 상수의 다양한 값에 대해 성능이 안정적으로 유지되며, 매우 느린 동역학(예: τm = 10 ms)에서도 뉴런 반응 속도에 영향을 받지 않음을 보여준다.
• 컨볼루션 아키텍처(LeNet-5)를 사용할 경우, MNIST에서 1.1±0.1%의 오차와 CIFAR-10에서 38.0±1.3%의 오차를 기록하여, 표준 역전파와 비교해 유사한 성능을 달성한다.
• 자극 제시 시간이 1 ms(0.05τm)로 매우 짧은 조건에서도 높은 성능을 유지하며, 이러한 조건에서 실패하는 전통적 모델들과는 대조적으로 뛰어난 성능을 보인다.
• 저항성 테스트를 통해 스페이스-타임적 결함이 존재하는 물리적 기초 구조에서도 구현 가능함을 확인하였으며, 시뮬레이션 및 생체 내 적용 가능성을 뒷받침한다.