[논문 리뷰] Error-driven Input Modulation: Solving the Credit Assignment Problem without a Backward Pass

Giorgia Dellaferrera, Gabriel Kreiman|arXiv (Cornell University)|2022. 01. 27.

Neural Networks and Applications인용 수 7

한 줄 요약

이 논문은 백프로파게이션을 대체하는 생물학적으로 타당한 학습 규칙인 PEPITA를 제안한다. 이 규칙은 역전파 없이 두 번의 전방 전파 메커니즘을 통해 가중치 갱신을 계산한다. 입력 신호가 오차 신호에 의해 조절되어 역전파 없이도 가중치 갱신을 계산할 수 있다. MNIST, CIFAR-10, CIFAR-100에서 백프로파게이션과 유사한 성능를 달성하면서도, 가중치 대칭성 문제, 국소성 부족, 활동 동결, 갱신 锁정 등의 핵심 문제를 해결한다.

ABSTRACT

Supervised learning in artificial neural networks typically relies on backpropagation, where the weights are updated based on the error-function gradients and sequentially propagated from the output layer to the input layer. Although this approach has proven effective in a wide domain of applications, it lacks biological plausibility in many regards, including the weight symmetry problem, the dependence of learning on non-local signals, the freezing of neural activity during error propagation, and the update locking problem. Alternative training schemes have been introduced, including sign symmetry, feedback alignment, and direct feedback alignment, but they invariably rely on a backward pass that hinders the possibility of solving all the issues simultaneously. Here, we propose to replace the backward pass with a second forward pass in which the input signal is modulated based on the error of the network. We show that this novel learning rule comprehensively addresses all the above-mentioned issues and can be applied to both fully connected and convolutional models. We test this learning rule on MNIST, CIFAR-10, and CIFAR-100. These results help incorporate biological principles into machine learning.

연구 동기 및 목표

• 백프로파게이션의 생물학적 비타당성 문제, 특히 가중치 대칭성 문제와 비국소적 오차 신호 문제를 해결하기 위해.
• 두 번째 전방 전파 동안 계층별 전방향 가중치 갱신을 가능하게 하여 갱신 锁정 문제를 해결하기 위해.
• 역전파 오차 전파가 필요 없도록 하여 신경 활동 동결을 방지하고 온라인 학습을 가능하게 하기 위해.
• 전역 오차 신호를 사용하면서도 국소 시냅스 플라스티시티 제약을 준수하는 학습 규칙을 개발하기 위해.
• 표준 시각 벤치마크를 사용하여 완전히 연결된 네트워크와 컨볼루션 네트워크 모두에서 이 방법의 타당성을 입증하기 위해.

제안 방법

• 표준 전방 전파를 수행하여 네트워크 활동과 출력 오차를 계산한다.
• 고정된 랜덤 행렬을 출력 오차와 곱하여 오차 조절 입력 신호를 생성한다.
• 오차 조절 입력을 사용하여 두 번째 전방 전파를 실행하여 새로운 활동을 계산한다.
• 첫 번째 및 두 번째 전방 전파의 활동 간 차이를 통해 시냅스 가중치 갱신을 계산한다.
• 전조직적, 전방향 가중치 갱신을 수행하기 위해 두 요인 히브시안 유사 규칙을 사용한다: 전조직 및 후조직 활동 불일치.
• 기본 전방 전파 활동을 저장하여, 기울기 근사에 사용하기 위해 조절된 전파와 비교할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 오직 전방 전파에 의존하는 학습 규칙이 역전파 없이도 크레딧 할당 문제를 해결할 수 있는가?
• RQ2 이러한 규칙이 표준 시각 벤치마크에서 백프로파게이션과 경쟁 가능한 성능를 달성할 수 있는가?
• RQ3 이 방법이 백프로파게이션의 핵심 생물학적 비타당성 문제, 예를 들어 가중치 대칭성과 활동 동결을 제거하는가?
• RQ4 이 방법은 완전히 연결된 네트워크와 컨볼루션 네트워크 모두에 적용 가능한가?
• RQ5 두 번의 전방 전파 메커니즘은 피드백 정렬 및 직접 피드백 정렬과 비교해 생물학적 타당성과 성능 측면에서 어떻게 다른가?

주요 결과

• PEPITA는 MNIST에서 테스트 정확도 97.8%, CIFAR-10에서 85.1%, CIFAR-100에서 62.3%를 달성하여 백프로파게이션 성능에 매우 가까운 성능를 보였다.
• 이 방법은 역전파를 완전히 회피하여 오차 전파가 필요 없고 신경 활동 동결을 방지했다.
• PEPITA는 공유되거나 대칭적인 피드백 가중치가 필요 없기 때문에 가중치 대칭성 문제를 해결했다.
• 두 번째 전방 전파 동안 계층별 갱신이 가능하여 부분적 온라인 학습을 가능하게 하였고, 갱신 锁정을 감소시켰다.
• 학습 규칙은 히브시안 학습과 구조적으로 유사하며, 시냅스 갱신은 국소 전조직 및 후조직 활동 불일치에 의해 유도된다.
• 이 방법은 이중 세포막대 모델과 호환되어 덴드라이틱-세포체 통합을 통한 생물학적 구현 가능성을 시사한다.