[논문 리뷰] Convergence and Alignment of Gradient Descent with Random Backpropagation Weights

Ganlin Song, Ruitu Xu외 1명|arXiv (Cornell University)|2021. 06. 10.

Stochastic Gradient Optimization Techniques참고 문헌 24인용 수 5

한 줄 요약

이 논문은 생물학적으로 타당한 역전파의 대안인 피드백 어드지먼트 알고리즘을 분석한다. 이 알고리즘은 오차 신호를 역전파할 때 고정된 랜덤 가중치를 사용한다. 과다매개변수화된 두층 신경망에서 오차가 0으로 지수적으로 수렴함을 증명하고, 랜덤 피드백 가중치와의 가중치 정렬을 위해 정규화가 필수적임을 보여주며, 신경망에서 비국소 학습의 이론적 이해를 발전시킨다.

ABSTRACT

Stochastic gradient descent with backpropagation is the workhorse of artificial neural networks. It has long been recognized that backpropagation fails to be a biologically plausible algorithm. Fundamentally, it is a non-local procedure -- updating one neuron's synaptic weights requires knowledge of synaptic weights or receptive fields of downstream neurons. This limits the use of artificial neural networks as a tool for understanding the biological principles of information processing in the brain. Lillicrap et al. (2016) propose a more biologically plausible "feedback alignment" algorithm that uses random and fixed backpropagation weights, and show promising simulations. In this paper we study the mathematical properties of the feedback alignment procedure by analyzing convergence and alignment for two-layer networks under squared error loss. In the overparameterized setting, we prove that the error converges to zero exponentially fast, and also that regularization is necessary in order for the parameters to become aligned with the random backpropagation weights. Simulations are given that are consistent with this analysis and suggest further generalizations. These results contribute to our understanding of how biologically plausible algorithms might carry out weight learning in a manner different from Hebbian learning, with performance that is comparable with the full non-local backpropagation algorithm.

연구 동기 및 목표

• 피드백 어드지먼트의 수학적 성질을 이해하기 위해.
• 제곱 오차 손실 하에서 두층 신경망에서 수렴성과 가중치 정렬을 조사하기 위해.
• 피드백 어드지먼트 알고리즘이 비국소 가중치 의존성 없이 네트워크를 성공적으로 훈련시킬 수 있는 조건을 규명하기 위해.
• 정규화가 학습된 가중치와 랜덤 피드백 가중치 간의 정렬을 가능하게 하는 역할를 명확히 하기 위해.
• 딥 러닝에서 피드백 어드지먼트의 경험적 성공에 대한 이론적 근거를 제공하기 위해.

제안 방법

• ReLU 활성화 함수와 제곱 오차 손실을 사용하는 두층 전방향 신경망을 분석한다.
• 진짜 기울기 대신 무작위로 고정된 역전파 가중치를 사용하는 확률적 경사 하강법을 적용한다.
• 무작위 행렬 이론과 농도 부등식 도구를 사용하여 가중치 행렬의 스펙트럼 성질을 연구한다.
• 제한된 등거리성 성질(RIP) 변형을 사용하여 랜덤 가우시안 행렬이 항등행렬에서 벗어남을 근사한다.
• 재귀적 오차 경계와 기하급수 감쇠 추정을 통해 지수 수렴 속도를 유도한다.
• 학습된 가중치와 랜덤 피드백 가중치 간의 정렬을 강제하기 위해 정규화를 도입한다.

실험 결과

연구 질문

• RQ1 과다매개변수화된 두층 신경망에서 피드백 어드지먼트가 0 오차로 수렴하는 조건은 무엇인가?
• RQ2 정규화 없이 피드백 어드지먼트가 랜덤 역전파 가중치와 가중치를 정렬하지 못하는 이유는 무엇인가?
• RQ3 랜덤 피드백 가중치의 사용이 경사 하강법의 수렴 속도에 어떤 영향을 미치는가?
• RQ4 정규화가 피드백 어드지먼트에서 가중치 정렬을 가능하게 하는 역할는 무엇인가?
• RQ5 과다매개변수화와 같은 현실적인 가정 하에서 피드백 어드지먼트에 대한 이론적 보장을 설정할 수 있는가?

주요 결과

• 오차는 과다매개변수화된 영역에서 학습률과 스펙트럼 갭에 따라 의존하는 수렴 속도로 0으로 지수적으로 수렴한다.
• 정규화 없이, 장기간 훈련 후에도 파라미터는 랜덤 역전파 가중치와 정렬되지 않는다.
• 정규화가 있으면, 학습된 가중치는 랜덤 피드백 가중치와 정렬되어 효과적인 학습이 가능해진다.
• 수렴 속도는 학습률과 그램 행렬의 최소 고유값을 포함하는 기하급수 감쇠 인자로 제한된다.
• 시뮬레이션 결과는 이론적 예측을 확인하며, 정규화가 있을 때만 지수적 오차 감소와 정렬이 관찰된다.
• 분석을 통해 피드백 어드지먼트가 적절한 조건 하에서 표준 역전파와 비교할 만한 성능을 달성할 수 있음을 입증한다.