[논문 리뷰] Holomorphic Equilibrium Propagation Computes Exact Gradients Through Finite Size Oscillations

Axel Laborieux, Friedemann Zenke|arXiv (Cornell University)|2022. 09. 01.

Neural dynamics and brain function인용 수 6

한 줄 요약

이 논문은 복소수 신경망에서의 단서 신호의 유한한 진폭을 활용하여 정확한 기울기를 계산하는 데에 보편적인 평형 전파(holomorphic equilibrium propagation, hEP)를 소개한다. 이는 평형 전파의 새로운 확장으로, 고립된 진동을 통해 기울기를 추출함으로써 별도의 학습 단계가 필요 없고, 깊은 신경망에서 노이즈에 강건한 학습이 가능하며, ImageNet $32\times32$에서 역전파와 유사한 성능을 보인다.

ABSTRACT

Equilibrium propagation (EP) is an alternative to backpropagation (BP) that allows the training of deep neural networks with local learning rules. It thus provides a compelling framework for training neuromorphic systems and understanding learning in neurobiology. However, EP requires infinitesimal teaching signals, thereby limiting its applicability in noisy physical systems. Moreover, the algorithm requires separate temporal phases and has not been applied to large-scale problems. Here we address these issues by extending EP to holomorphic networks. We show analytically that this extension naturally leads to exact gradients even for finite-amplitude teaching signals. Importantly, the gradient can be computed as the first Fourier coefficient from finite neuronal activity oscillations in continuous time without requiring separate phases. Further, we demonstrate in numerical simulations that our approach permits robust estimation of gradients in the presence of noise and that deeper models benefit from the finite teaching signals. Finally, we establish the first benchmark for EP on the ImageNet 32x32 dataset and show that it matches the performance of an equivalent network trained with BP. Our work provides analytical insights that enable scaling EP to large-scale problems and establishes a formal framework for how oscillations could support learning in biological and neuromorphic systems.

연구 동기 및 목표

• 기존 평형 전파(EP)는 무한소 단서 신호와 별도의 시간 단계를 필요로 하여 노이즈가 있는 뉴로모픽 시스템과 대규모 학습에 실용적이지 않다는 한계를 극복하기 위해.
• 소멸하는 작은 이완에 의존하지 않고 명시적인 역전파 단계 없이 정확한 기울기를 계산하는 생물학적으로 타당한 국소 학습 규칙을 개발하기 위해.
• 연속 시간 신경망 진동이 푸리에 분석을 통해 정확한 기울기를 인코딩할 수 있는 공식적 프레임워크를 수립하여 온라인 학습을 가능하게 하기 위해.
• hEP가 CIFAR-10/100 및 ImageNet $32\times32$와 같은 대규모 비전 벤치마크에서 역전파 성능과 비교할 수 있는 성능을 달성하는지 확인하기 위해.
• 유한 진폭의 진동을 사용하여 기판 노이즈와 더 깊은 아키텍처 환경에서도 안정적인 학습이 가능하도록 하기 위해.

제안 방법

• 실수값 다이내믹스를 복소 평면에 통합하여 복소수 신경망으로 평형 전파를 확장함으로써, 신경 다이내믹스의 해석적 계속성을 가능하게 한다.
• 광범위한 진동 동안 복소 평면에서의 진동 활동의 첫 번째 푸리에 계수로 손실 함수의 매개변수에 대한 기울기가 주어진다는 것을 유도한다.
• 시간에 따라 변하는 복소수 단서 신호를 사용하여 네트워크에서 안정적이고 유한 진폭의 진동을 유도함으로써 별도의 자유 및 이완 단계가 필요 없도록 한다.
• 시냅스 필터링 연산을 사용하여 뉴런 활동의 첫 번째 푸리에 조화를 추출함으로써 정확한 기울기 추정치를 직접 도출한다.
• 복소수 가중치와 활성화 함수를 제외한 추가 아키텍처 수정 없이도 표준 최적화 프rotocol을 사용하여 얕은 및 깊은 합성곱 신경망에 적용한다.
• 극을 신중히 관리하기 위해 가중치 초기화와 신호 진폭 제어를 통해 복소수 ReLU 및 시그모이드 유사 활성화 함수를 사용한다.

실험 결과

연구 질문

• RQ1 무한소 이완의 극한이 아닌, 유한 진폭의 단서 신호를 사용하여 평형 전파가 정확한 기울기를 계산할 수 있는가?
• RQ2 복소수 네트워크에서의 연속 시간 진동이 푸리에 분석을 통해 정확한 기울기를 인코딩할 수 있는가? 이는 별도의 학습 단계가 필요 없음을 의미한다.
• RQ3 제안된 방법인 복소수 평형 전파(holomorphic equilibrium propagation, hEP)가 ImageNet $32\times32$와 같은 대규모 비전 작업에서 역전파 성능과 비교할 만한 성능을 달성하는가?
• RQ4 기존 EP에 비해 물리적 또는 뉴로모픽 구현에서 노이즈에 대해 hEP는 얼마나 강건한가?
• RQ5 hEP는 더 깊은 네트워크에 적용될 수 있으며, 이러한 환경에서 더 나은 일반화나 안정성을 보여주는가?

주요 결과

• hEP는 분석적으로 증명된 linely 진동의 첫 번째 푸리에 계수를 추출하여, 복소수 네트워크에서의 유한 진폭 단서 신호를 사용해 정확한 기울기를 계산한다.
• 이 방법은 별도의 자유 및 이완 단계가 필요 없이 연속적인 진동 다이내믹스에 의존하여 온라인 기울기 추정을 가능하게 한다.
• 노이즈 환경에서 hEP는 특히 더 깊은 네트워크에서 기존 EP를 능가하며, 높은 유한 신호 진폭에 대한 강건성 덕분이다.
• ImageNet $32\times32$ 벤치마크에서 hEP는 역전파로 학습된 모델과 유사한 테스트 정확도를 달성하여, EP에 대해 처음으로 이러한 성능 기준을 설정한다.
• 수치 시뮬레이션은 hEP가 기판 노이즈가 있을 경우에도 높은 기울기 정확도를 유지하며, 적절한 초기화와 신호 진폭 제어로 안정적인 학습이 가능하다는 것을 확인한다.
• 메소드는 복소수 활성화 함수의 극이 실질적으로 관리될 수 있음을 보여주며, $|\beta|$가 합리적으로 선택되고, 가중치 초기화 및 활성화 함수가 적절할 경우 영점 주변의 안정한 학습 영역이 존재함을 밝혀낸다.