[논문 리뷰] Towards a Biologically Plausible Backprop

Benjamin Scellier, Yoshua Bengio|arXiv (Cornell University)|2016. 02. 16.

Neural dynamics and brain function참고 문헌 21인용 수 31

한 줄 요약

이 논문은 에너지 기반 모델에 영감을 받은 생물학적으로 타당한 학습 프레임워크를 제안한다. 여기서 역전파 유사 오차 역전파가 두 단계 과정을 통해 자연스럽게 발생한다. 첫 번째로 고정점 계산을 통해 예측이 이루어지고, 두 번째로 출력 단위가 목표값 쪽으로 약간 조정되며, 이 변화가 뒤로 전파되어 오차 기울기를 암묵적으로 계산한다. 이 방법은 명시적인 역전파 계산 없이 경사 하강법을 가능하게 하여 기존 역전파의 생물학적 타당성 있는 대안을 제공한다.

ABSTRACT

This work contributes several new elements to the quest for a biologically plausible implementation of backprop in brains. We introduce a very general and abstract framework for machine learning, in which the quantities of interest are defined implicitly through an energy function. In this framework, only one kind of neural computation is involved both for the first phase (when the prediction is made) and the second phase (after the target is revealed), like the contrastive Hebbian learning algorithm in the continuous Hopfield model for example. Contrary to automatic differentiation in computational graphs (i.e. standard backprop), there is no need for special computation in the second phase of our framework. One advantage of our framework over contrastive Hebbian learning is that the second phase corresponds to only nudging the first-phase fixed point towards a configuration that reduces prediction error. In the case of a multi-layer supervised neural network, the output units are slightly nudged towards their target, and the perturbation introduced at the output layer propagates backward in the network. The signal 'back-propagated' during this second phase actually contains information about the error derivatives, which we use to implement a learning rule proved to perform gradient descent with respect to an objective cost function.

연구 동기 및 목표

• 신경망에서 표준 역전파의 생물학적으로 타당한 대안을 개발하기 위해.
• 학습의 별도 역방향 계산 단계를 제거하여 생물학적 신경 동역학에 더 가깝게 맞추기 위해.
• 전방 및 수정 단계에서 동일한 유형의 신경 계산만을 사용하여 암묵적 오차 신호 전파를 통해 경사 하강법을 가능하게 하기 위해.
• 편미분을 암묵적으로 계산하는 학습 규칙을 정식화하여 별도의 역방향 단계가 필요 없도록 하기 위해.

제안 방법

• 네트워크의 동작을 암묵적 에너지 함수로 정의하여, 네트워크 상태가 시스템의 고정점에 해당하도록 한다.
• 예측(첫 번째 단계)과 오차 보정(두 번째 단계)에 동일한 유형의 신경 계산을 사용하여 대비 헤브시안 학습을 모방한다.
• 출력층에 목표값 쪽으로 작은 편미분을 도입하고, 이를 네트워크 전반에 걸쳐 뒤로 전파한다.
• 결과적으로 생성된 편미분장이 오차 기울기 정보를 포함하며, 이는 효과적인 가중치 갱신을 가능하게 한다.
• 이 편미분의 뒤로 전파에 기반한 학습 규칙을 유도하여 비용 함수에 대한 경사 하강법을 수행한다.
• 네트워크의 내재된 동역학이 오차 신호를 생성하므로 명시적인 역전파 계산을 피할 수 있음을 보여준다.

실험 결과

연구 질문

• RQ1 명시적인 역전파 계산 없이도 생물학적으로 타당한 학습 규칙을 설계할 수 있는가?
• RQ2 별도의 역방향 단계 없이 네트워크 동역학을 통해 오차 기울기를 암묵적으로 계산할 수 있는가?
• RQ3 동일한 유형의 신경 계산이 생물학적 타당성과 일치하는 방식으로 예측 및 학습 단계를 모두 지원할 수 있는가?
• RQ4 두 번째 단계에서의 편미분 기반 역전파가 효과적인 학습을 이끄는 기울기를 제공하는가?
• RQ5 이 프레임워크는 명시적이고 에너지 기반의 동역학만을 사용하여 비용 함수에 대한 경사 하강법을 달성할 수 있는가?

주요 결과

• 이 프레임워크는 명시적인 역전파 계산 없이도 비용 함수에 대한 경사 하강법을 가능하게 한다.
• 작은 출력 편미분의 뒤로 전파 과정을 통해 오차 기울기가 암묵적으로 인코딩되며, 이는 네트워크의 동역학에서 자연스럽게 발생한다.
• 이 과정에서 유도된 학습 규칙은 예측 오차를 감소시키는 효과적인 가중치 갱신을 수행한다.
• 전방 및 수정 단계에서 동일한 유형의 신경 계산만을 사용함으로써 생물학적 타당성을 유지한다.
• 두 번째 단계의 동역학은 첫 번째 단계의 고정점을 더 낮은 오차 구성으로 향해 조정하는 것으로 해석되며, 에너지 최소화 원칙과 일치한다.
• 이 프레임워크는 단순한 네트워크를 넘어서 다층 아키텍처에서의 생물학적으로 타당한 학습에 대해 확장 가능하고 스케일업 가능한 접근을 제공한다.