[논문 리뷰] Activation Relaxation: A Local Dynamical Approximation to Backpropagation in the Brain

Beren Millidge, Alexander Tschantz외 2명|arXiv (Cornell University)|2020. 09. 11.

Neural dynamics and brain function참고 문헌 67인용 수 11

한 줄 요약

이 논문은 활성화 이완(Activation Relaxation, AR)을 제안한다. AR는 전역적인 오차 신호나 정확한 가중치 운반을 필요로 하지 않고, 국소적 시냅스 신호와 단일 역방향 이완 단계만을 사용하여 정확한 오차 기울기를 계산하는 생물학적으로 타당한 역전파 근사법이다. 역전파를 동적 시스템의 평형점으로 재정의함으로써 AR는 정확한 기울기로 신속하고 강건하게 수렴하며, 임의의 계산 그래프를 지원하고, 가중치 운반과 비선형 도함수와 같은 핵심 비생물학적 문제를 제거하여 표준 역전파와 경쟁 가능한 성능을 달성하면서도 뇌 기반 해석이 가능하다.

ABSTRACT

The backpropagation of error algorithm (backprop) has been instrumental in the recent success of deep learning. However, a key question remains as to whether backprop can be formulated in a manner suitable for implementation in neural circuitry. The primary challenge is to ensure that any candidate formulation uses only local information, rather than relying on global signals as in standard backprop. Recently several algorithms for approximating backprop using only local signals have been proposed. However, these algorithms typically impose other requirements which challenge biological plausibility: for example, requiring complex and precise connectivity schemes, or multiple sequential backwards phases with information being stored across phases. Here, we propose a novel algorithm, Activation Relaxation (AR), which is motivated by constructing the backpropagation gradient as the equilibrium point of a dynamical system. Our algorithm converges rapidly and robustly to the correct backpropagation gradients, requires only a single type of computational unit, utilises only a single parallel backwards relaxation phase, and can operate on arbitrary computation graphs. We illustrate these properties by training deep neural networks on visual classification tasks, and describe simplifications to the algorithm which remove further obstacles to neurobiological implementation (for example, the weight-transport problem, and the use of nonlinear derivatives), while preserving performance.

연구 동기 및 목표

• 표준 역전파가 국소적이지 않은 전역 오차 신호와 정확한 가중치 운반에 의존한다는 생물학적 비타당성 문제를 해결하기 위해.
• 다중 역방향 단계나 복잡한 연결 구조가 필요 없이, 전/후단 신경 활동과 국소 도함수와 같은 국소적 시냅스 정보만을 사용하는 학습 알고리즘을 개발하기 위해.
• 가중치 운반 문제와 기울기 계산에서 비선형 도함수가 필요하다는 점과 같은 뇌 기반 구현의 주요 장벽을 제거하기 위해.
• 정확한 역전파 기울기가 국소 규칙에 의해 구동되는 단일 연속 역동적 이완 과정을 통해 달성될 수 있음을 입증하기 위해.
• 단일 신경 세포 유형과 단일 역방향 단계로 알고리즘을 단순화하여皮질 미세회로에서의 구현 가능성을 높이기 위해.

제안 방법

• 알고리즘은 연속 시간 동적 시스템의 평형점으로서 역전파 기울기를 설정하여, 활성도가 국소 오차 함수를 최소화하도록 수렴하도록 한다.
• 단일 역방향 이완 단계를 사용하여, 현재 활동과 역방향 가중치로 매핑된 목표 활동 간의 차이에서 유도된 국소 오차 신호에 기반해 뉴런 활성도를 반복적으로 조정한다.
• 예측 오차 기제에서 유도된 업데이트 규칙을 사용하며, 각 뉴런은 상위 레이어에서 예측된 상태와 현재 상태의 격차에 따라 자신의 활동을 수정한다.
• 기울기 계산을 명시적으로 수행하지 않고, 기울기 계산을 시스템의 동역학 내부에 통합함으로써, 오직 국소적 시냅스 및 활동 정보에만 의존한다.
• AR의 단순화된 버전은 대칭 또는 연결된 가중치가 필요 없으며, 비선형 도함수를 피하고 선형 변환과 국소 피드백만을 사용한다.
• 알고리즘은 시각 분류 작업에 대한 깊은 신경망에 적용되었으며, 최소한의 아키텍처 오버헤드로 표준 역전파 기울기에 수렴함을 보였다.

실험 결과

연구 질문

• RQ1 전역 오차 신호나 가중치 운반 없이 국소적 시냅스 신호만을 사용하여 역전파 기울기를 계산할 수 있는가?
• RQ2 생물학적으로 타당한 학습 알고리즘에서 다중 역방향 단계를 대체할 수 있는 단일 연속 역동적 이완 단계가 존재하는가?
• RQ3 국소 역전파 근사에서 비선형 도함수와 가중치 대칭성을 제거하면서도 성능를 유지할 수 있는가?
• RQ4 신경망의 동역학을 어떻게 구성하면 그 평형점이 정확히 역전파 기울기와 일치하는가?
• RQ5 활성도 단위를 정확히 동일한 방식으로 전방 추론과 기울기 계산에 재사용할 수 있는가? 이 방식이 생물학적으로 타당한가?

주요 결과

• 활성화 이완은 깊은 네트워크에서도 표준 역전파가 계산하는 정확한 기울기로 빠르고 강건하게 수렴한다.
• 알고리즘은 단일 역방향 이완 단계와 단일 유형의 계산 단위만을 요구하여, 이전의 국소 근사와 비교해 복잡도를 크게 감소시켰다.
• AR의 단순화된 버전은 가중치 대칭성과 비선형 도함수의 필요성을 제거했지만, 시각 분류 작업에서 표준 역전파와 경쟁 가능한 성능 유지를 하였다.
• 기울기 계산을 명시적으로 수행하지 않고, 활동 차이에 기반한 국소 업데이트 규칙에 기울기 동역학을 통합함으로써 정확한 기울기를 달성하였다.
• 알고리즘은 임의의 계산 그래프와 호환되며, 특수한 연결 패턴이나 다중 순차적 단계가 필요하지 않다.
• 동일한 신경 집단을 활성도와 기울기 표현에 재사용함으로써 뇌 기반 해석이 가능하며,皮질 회로에서 다중 계산의 메커니즘을 제안한다.