[논문 리뷰] Generalization of Equilibrium Propagation to Vector Field Dynamics

Benjamin Scellier, Anirudh Goyal외 3명|arXiv (Cornell University)|2018. 08. 14.

Neural dynamics and brain function참고 문헌 15인용 수 19

한 줄 요약

이 논문은 에너지 함수나 대칭 가중치가 필요 없이 고정점 순환 신경망에서 벡터장 역학으로 평형 전파를 일반화한다. 이는 국소적이고 기울기 기반의 학습을 통해 생물학적으로 타당한 역전파를 가능하게 한다. 이 방법은 진정한 기울기를 가중치 대칭성에 따라 정밀도를 갖는 근사치로 제공하며, 실험 결과 MNIST에서 테스트 오차 2–3%를 기록하여 목적 함수를 성공적으로 최적화한다.

ABSTRACT

The biological plausibility of the backpropagation algorithm has long been doubted by neuroscientists. Two major reasons are that neurons would need to send two different types of signal in the forward and backward phases, and that pairs of neurons would need to communicate through symmetric bidirectional connections. We present a simple two-phase learning procedure for fixed point recurrent networks that addresses both these issues. In our model, neurons perform leaky integration and synaptic weights are updated through a local mechanism. Our learning method generalizes Equilibrium Propagation to vector field dynamics, relaxing the requirement of an energy function. As a consequence of this generalization, the algorithm does not compute the true gradient of the objective function, but rather approximates it at a precision which is proven to be directly related to the degree of symmetry of the feedforward and feedback weights. We show experimentally that our algorithm optimizes the objective function.

연구 동기 및 목표

• 역전파의 생물학적 비현실성, 특히 별도의 전방 및 역방향 신호 경로와 대칭 시냅스 연결이 요구되는 점을 해결한다.
• 두 단계로 구성된 학습 규칙을 개발한다: (1) 가중치 갱신 없이 추론 수행, (2) 국소적이고 대칭 가중치에 의존하지 않는 갱신을 통한 오차 신호 전파.
• 에너지 기반 모델을 초월해 임의의 벡터장 역학으로 평형 전파를 일반화하여 기울기 역학이나 대칭 가중치 요구 조건을 완화한다.
• 제안된 방법이 MNIST에서의 실증적 평가를 통해 목표 목적 함수를 최적화할 수 있음을 입증한다.
• 이론적 및 실증적으로 학습 규칙에서 가중치 대칭성과 기울기 근사 정확도 간의 관계를 조사한다.

제안 방법

• 연속 시간, 레이트 기반의 누설 적분기 방정식을 사용해 뉴런 역학을 모델링한다: $ \frac{ds_i}{dt} = \sum_j W_{ij} \rho(s_j) - s_i $, 여기서 $ \rho $는 비선형 활성화 함수이다.
• 두 단계 학습 절차를 구현한다: 첫 번째 단계에서는 입력에 따라 고정점 상태를 계산한다. 두 번째 단계에서는 목표치를 도입하고 상태의 편차에 따라 가중치를 갱신한다.
• 국소적 헤브시안 유사 학습 규칙을 사용한다: $ dW_{ij} \propto \rho(s_j) \cdot ds_i $, 여기서 $ ds_i $는 두 번째 단계 동안의 postsynaptic 활동 변화이다.
• 편미분 매개변수 $ \beta $ 를 도입하여 학습 규칙을 벡터장 역학으로 일반화한다. 이는 작은 편미분에 대한 상태 반응을 통해 손실의 기울기를 추적할 수 있도록 한다.
• 갱신 규칙을 $ \Delta W_{ij} \propto \left. \frac{\partial^2 S^\beta}{\partial t \partial \beta} \right|_{\beta=0}^T \cdot \frac{\partial \mu_\theta}{\partial W_{ij}} $ 로 유도하며, 이는 진정한 기울기를 근사한다.
• 클리핑을 통한 안정화된 오일러 방법을 사용해 역학을 구현한다: $ s \leftarrow \text{clip}(s - \epsilon \mu_\theta^\beta, 0, 1) $, 이는 수치적 안정성을 보장한다.

실험 결과

연구 질문

• RQ1 기본 에너지 함수가 필요 없이 평형 전파를 벡터장 역학으로 일반화할 수 있는가?
• RQ2 국소적이고 비대칭 가중치 기반의 학습 규칙이 진정한 손실 함수 기울기를 근사할 수 있으며, 그 정확도는 가중치 대칭성에 어떻게 의존하는가?
• RQ3 이 방법은 역전파나 대칭 연결 없이 고정점 순환 신경망을 MNIST와 같은 지도 학습 과제에서 성공적으로 훈련시킬 수 있는가?
• RQ4 가중치 대칭성의 정도와 기울기 근사 오차 간의 관계는 어떠한가?
• RQ5 표준 벤치마크에서 이론적 성능과 일반화 오차 측면에서 이 방법의 실증 성능은 어떠한가?

주요 결과

• 제안된 알고리즘은 2-층 및 3-층 완전 연결 네트워크에서 MNIST에서 목적 함수를 성공적으로 최적화하며, 훈련 오차는 0.00%를 기록한다.
• MNIST에서 일반화 오차는 네트워크 깊이에 따라 2%에서 3% 사이로 변동하며, 역전파 없이도 효과적인 학습을 보여준다.
• 이론적으로 예측한 바와 같이, 이 방법은 피드포워드 및 피드백 가중치의 대칭성에 비례하여 기울기 근사 정확도를 달성한다.
• 알고리즘이 에너지 기반 모델을 초월해 임의의 벡터장 역학에서 학습이 가능하도록 평형 전파를 일반화하여, 기울기 역학이나 대칭 연결 요구 조건 없이도 가능하게 한다.
• 컨볼루션 신경망 변형을 사용한 실험에서 일반화 오차 약 2%를 기록하여 깊은 아키텍처로의 확장성 확인.
• 학습 규칙은 두 번째 단계 종료 시점에 한 번의 가중치 갱신으로 구현되며, 편미분된 상태와 원래 상태의 차이를 기반으로 하여 연속적인 가중치 갱신을 피한다.