[논문 리뷰] Equilibrium Propagation: Bridging the Gap Between Energy-Based Models and Backpropagation

Benjamin Scellier, Yoshua Bengio|arXiv (Cornell University)|2016. 02. 16.

Advanced Memory and Neural Computing참고 문헌 30인용 수 15

한 줄 요약

이 논문은 에너지 기반 모델을 위한 생물학적으로 타당한 학습 프레임워크인 평형 전파(Equilibrium Propagation)를 소개한다. 이 방법은 추론 및 오차 역전파 단계에서 동일한 신경 계산 유형을 사용하여 기울기를 계산한다. 두 번째 단계에서 출력 유닛을 목표로 약간 이동시킴으로써, 방법은 재귀적 동역학을 통해 오차 도함수를 암묵적으로 역전파하며, 별도의 역전파 회로나 대칭 가중치 가정이 필요 없이 잘 정의된 목적 함수에 대해 기울기 하강을 달성한다.

ABSTRACT

We introduce Equilibrium Propagation, a learning framework for energy-based models. It involves only one kind of neural computation, performed in both the first phase (when the prediction is made) and the second phase of training (after the target or prediction error is revealed). Although this algorithm computes the gradient of an objective function just like Backpropagation, it does not need a special computation or circuit for the second phase, where errors are implicitly propagated. Equilibrium Propagation shares similarities with Contrastive Hebbian Learning and Contrastive Divergence while solving the theoretical issues of both algorithms: our algorithm computes the gradient of a well defined objective function. Because the objective function is defined in terms of local perturbations, the second phase of Equilibrium Propagation corresponds to only nudging the prediction (fixed point, or stationary distribution) towards a configuration that reduces prediction error. In the case of a recurrent multi-layer supervised network, the output units are slightly nudged towards their target in the second phase, and the perturbation introduced at the output layer propagates backward in the hidden layers. We show that the signal 'back-propagated' during this second phase corresponds to the propagation of error derivatives and encodes the gradient of the objective function, when the synaptic update corresponds to a standard form of spike-timing dependent plasticity. This work makes it more plausible that a mechanism similar to Backpropagation could be implemented by brains, since leaky integrator neural computation performs both inference and error back-propagation in our model. The only local difference between the two phases is whether synaptic changes are allowed or not.

연구 동기 및 목표

• 별도의 오차 전파 회로가 필요 없고, 별도의 역전파 회로가 필요 없는 생물학적으로 타당한 백프로파게이션 대체 방법을 개발하는 것.
• 대trastive Hebbian 학습 및 대비 수렴 기반 학습과 같은 대비 학습 방법의 이론적 문제를 해결하는 것.
• 소규모 국소 편향을 통해 재귀적 동역학을 통해 오차 도함수를 암묵적으로 역전파할 수 있음을 보여주는 것.
• 스파iking 타이밍 의존성 가소성 규칙을 통해 평형 역학과 기울기 하강 간의 연결 고리를 설정하는 것.
• 이 프레임워크를 사용하여 MNIST에서 깊고 다층적인 순환 네트워크의 훈련 가능성을 입증하는 것.

제안 방법

• 추론 및 오차 전파 모두에 동일한 재귀적 신경망(누출 통합기 역학을 갖는)을 사용한다.
• 두 단계를 수행한다: 첫 번째로, 입력을 고정함으로써 고정점에 도달하도록 네트워크를 안정화시킨다(추론); 두 번째로, 출력 유닛을 목표로 약간 이동시킨다(훈련).
• 두 번째 단계의 동역학은 시냅스 가중치 갱신을 통해 은닉층을 통해 오차 도함수를 암묵적으로 역전파한다.
• 시냅스 갱신은 첫 번째 단계의 고정점 에너지를 증가시키고, 두 번째 단계의 고정점 에너지를 감소시키는 대비 허브시안 규칙을 따른다.
• Bengio 등(2017)의 결과를 활용하여, 두 번째 단계에서의 초기 신경 활동 변화가 오차 도함수와 대응됨을 보여준다.
• 제곱 오차 목적 함수의 기울기에서 유도된 학습 규칙을 사용하며, 시냅스 갱신은 postsynaptic 활동의 시간 도함수 기반으로 이루어진다.

실험 결과

연구 질문

• RQ1 동일한 신경 계산 메커니즘이 생물학적으로 타당한 방식으로 추론과 오차 역전파를 모두 수행할 수 있는가?
• RQ2 소규모 편향을 통한 암묵적 오차 역전파가 에너지 기반 모델의 훈련에 대해 정확한 기울기를 제공하는가?
• RQ3 두 번째 단계의 동역학이 순환 네트워크에서 손실 함수의 진짜 기울기와 어떻게 관련이 있는가?
• RQ4 평형 전파가 실세계 작업인 MNIST에서 깊고 다층적인 순환 네트워크를 훈련시킬 수 있는가?
• RQ5 제안된 동역학 하에서 시냅스 갱신 규칙이 어떤 형태의 스파이크 타이밍 의존성 가소성(STDP)와 동치인가?

주요 결과

• 평형 전파(Equilibrium Propagation)는 별도의 역전파 회로가 필요 없이 잘 정의된 목적 함수(제곱 오차)의 기울기를 계산한다.
• 두 번째 단계의 동역학은 은닉층을 통해 오차 도함수를 암묵적으로 역전파하며, 손실 함수의 진짜 기울기와 일치한다.
• 시냅스 갱신 규칙은 생물학적으로 타당한 형태의 스파이크 타이밍 의존성 가소성(Spike-Timing Dependent Plasticity)과 대응된다.
• 1, 2, 3개의 은닉층을 가진 다층 순환 네트워크가 이 프레임워크를 사용하여 순열 불변 MNIST 작업에서 성공적으로 훈련되었다.
• 이전의 대비 학습 알고리즘의 이론적 결함(예: CD-1에서의 순환, 대비 허브시안 학습에서의 모드 붕괴)을 피한다.
• 수렴을 위해 히트맵 반복 수(20–500), 편향 강도(ε=0.5), 학습률(αk) 등의 하이퍼파rameter가 조정되었다.