[논문 리뷰] Equilibrium Propagation with Continual Weight Updates

Maxence Ernoult, Julie Grollier외 3명|arXiv (Cornell University)|2020. 04. 29.

Distributed Control Multi-Agent Systems참고 문헌 20인용 수 17

한 줄 요약

이 논문은 뉴런의 활동이 안정 상태에 도달한 후에도 지속적으로 시냅스 가중치를 갱신함으로써 공간적·시간적 국소성과 생물학적으로 타당한 학습 알고리즘인 연속 평형 전파(C-EP)를 제안한다. 이론적으로는 학습률이 충분히 작을 경우 C-EP가 BPTT 기울기와 매우 유사하게 작용하며, 실험적으로는 MNIST 분류 정확도에서 경쟁력을 보이며, C-VF 방법을 통해 비대칭 네트워크로의 확장도 가능하다.

ABSTRACT

Equilibrium Propagation (EP) is a learning algorithm that bridges Machine Learning and Neuroscience, by computing gradients closely matching those of Backpropagation Through Time (BPTT), but with a learning rule local in space. Given an input $x$ and associated target $y$, EP proceeds in two phases: in the first phase neurons evolve freely towards a first steady state; in the second phase output neurons are nudged towards $y$ until they reach a second steady state. However, in existing implementations of EP, the learning rule is not local in time: the weight update is performed after the dynamics of the second phase have converged and requires information of the first phase that is no longer available physically. In this work, we propose a version of EP named Continual Equilibrium Propagation (C-EP) where neuron and synapse dynamics occur simultaneously throughout the second phase, so that the weight update becomes local in time. Such a learning rule local both in space and time opens the possibility of an extremely energy efficient hardware implementation of EP. We prove theoretically that, provided the learning rates are sufficiently small, at each time step of the second phase the dynamics of neurons and synapses follow the gradients of the loss given by BPTT (Theorem 1). We demonstrate training with C-EP on MNIST and generalize C-EP to neural networks where neurons are connected by asymmetric connections. We show through experiments that the more the network updates follows the gradients of BPTT, the best it performs in terms of training. These results bring EP a step closer to biology by better complying with hardware constraints while maintaining its intimate link with backpropagation.

연구 동기 및 목표

• 기존 평형 전파(EP) 구현에서 시간적으로 비국소적인 문제를 해결하기 위해, 첫 번째 안정 상태에서의 정보에 의존하는 가중치 갱신이 더 이상 물리적으로 이용 가능하지 않은 점을 해결한다.
• 공간적·시간적으로 국소적인 학습 규칙을 개발하여, 최소한의 에너지 소비로 가능한 하드웨어 구현을 가능하게 한다.
• 비대칭 시냅스 연결을 가진 네트워크로의 EP 일반화를 위해, 더 생물학적으로 현실적인 시냅스 연결을 고려한다.
• 작은 학습률 하에서 두 번째 단계 동안 연속적인 가중치 갱신이 BPTT 기울기와 일치하는지를 보여준다.
• 완전히 연결된 네트워크와 딥 아키텍처에서 MNIST를 대상으로 실험하여 표준 EP와 비교해 유사한 성능을 보임을 검증한다.

제안 방법

• 두 번째 단계의 동역학 전반에 걸쳐 시냅스 가중치 갱신을 지속적으로 수행하는 연속 평형 전파(C-EP)를 제안한다. 이는 수렴 후 갱신이 아닌, 수렴 과정 중에도 갱신이 이루어짐을 의미한다.
• 두 번째 단계의 각 시간 단계에서 연속된 단계 간의 네트워크 활동 차이를 기반으로 작은 점진적 가중치 변화를 적용하는 시간적 갱신 규칙을 도입한다.
• 이론적 기반: 충분히 작은 학습률 하에서 C-EP의 뉴런 및 시냅스 동역학이 BPTT로 계산된 손실 함수 기울기를 따르며, 이 성질을 기울기 감소 동역학(GDD)이라 명명한다.
• Scellier 등(2018)의 영감을 받아 연속 벡터장(C-VF) 접근법을 활용해 C-EP를 비대칭 네트워크로 일반화한다. 이는 시냅스 가중치의 대칭성 제약을 완화한다.
• 정확한 기울기 근사를 위해 미세한 학습률을 사용하는 디버깅 알고리즘(알고리즘 5)을 적용하고, 최종 갱신을 재스케일링하여 학습 속도를 유지한다.
• 수렴성과 안정성을 보장하기 위해 리아푸노프 함수를 사용하는 이산 시간 RNN 동역학을 사용한다.

실험 결과

연구 질문

• RQ1 두 번째 단계 동안 지속적으로 가중치를 갱신함으로써 평형 전파의 시냅스 가중치 갱신을 시간적으로 국소화할 수 있는가?
• RQ2 작은 학습률 하에서 C-EP의 연속 갱신 규칙이 BPTT 기울기와 일치하는가?
• RQ3 C-EP는 더 생물학적으로 현실적인 비대칭 시냅스 연결을 가진 신경망으로 일반화될 수 있는가?
• RQ4 표준 EP와 비교해 MNIST와 같은 표준 벤치마크에서 C-EP의 학습 정확도와 수렴 속도는 어떻게 되는가?
• RQ5 학습률 크기의 영향은 무엇이며, 작은 갱신의 재스케일링을 통해 성능을 복구할 수 있는가?

주요 결과

• 두 은닉층을 가진 완전 연결 네트워크에서 C-EP는 MNIST에서 $1.89 \pm 0.22\%$의 테스트 오차를 기록하며, 표준 EP와 동일한 성능을 달성한다.
• 한 은닉층 네트워크에서 디버깅 절차(알고리즘 5)를 사용할 경우 C-EP는 $2.06 \pm 0.13\%$의 테스트 오차를 기록하여, 학습률이 충분히 작을 경우 BPTT 기울기를 근사할 수 있음을 확인한다.
• 표준 C-EP 학습에서 관찰된 성능 저하는 너무 큰 학습률 때문이며, 미세한 학습률을 사용하고 재스케일링을 적용하면 거의 최적의 성능을 복구할 수 있다.
• C-VF 방법을 통해 비대칭 연결 네트워크에서도 학습이 가능하며, 한 은닉층에서는 $4.59 \pm 0.92\%$의 테스트 오차, 두 은닉층에서는 $5.05 \pm 1.17\%$의 테스트 오차를 기록한다.
• 학습 곡선은 C-EP와 C-VF가 100 에포크 동안 안정적으로 수렴하며, 다섯 번의 시도에서 변동성이 낮아 안정성을 보임을 보여준다.
• 이론적 분석은 C-EP가 기울기 감소 동역학(GDD) 성질을 가지며, 작은 학습률 하에서 시스템의 동역학이 BPTT 기울기를 따름을 확인한다.