[논문 리뷰] Feedback alignment in deep convolutional networks

Theodore Moskovitz, Ashok Litwin-Kumar외 1명|arXiv (Cornell University)|2018. 12. 12.

Advanced Memory and Neural Computing참고 문헌 25인용 수 45

한 줄 요약

본 논문은 피드백 정렬(FA)을 심층 합성곱 신경망으로 확장하고, 부호 일치 피드백(sign-concordant feedback)과 정규화 전략을 도입하여 FA가 다양한 CNN 아키텍처에서 역전파(backpropagation)와 비교해 ImageNet 성능을 경쟁력 있게 달성하도록 한다.

ABSTRACT

Ongoing studies have identified similarities between neural representations in biological networks and in deep artificial neural networks. This has led to renewed interest in developing analogies between the backpropagation learning algorithm used to train artificial networks and the synaptic plasticity rules operative in the brain. These efforts are challenged by biologically implausible features of backpropagation, one of which is a reliance on symmetric forward and backward synaptic weights. A number of methods have been proposed that do not rely on weight symmetry but, thus far, these have failed to scale to deep convolutional networks and complex data. We identify principal obstacles to the scalability of such algorithms and introduce several techniques to mitigate them. We demonstrate that a modification of the feedback alignment method that enforces a weaker form of weight symmetry, one that requires agreement of weight sign but not magnitude, can achieve performance competitive with backpropagation. Our results complement those of Bartunov et al. (2018) and Xiao et al. (2018b) and suggest that mechanisms that promote alignment of feedforward and feedback weights are critical for learning in deep networks.

연구 동기 및 목표

• 학습 규칙에서 가중치 대칭성을 완화해 생물학적으로 가능한 크레딧 배정을 동기화한다.
• 원래 FA가 심층 CNN과 복잡한 데이터에서 왜 성능이 저하되는지 조사한다.
• 심층 아키텍처에서 성능과 안정성을 개선하기 위한 FA의 수정안을 개발한다.
• 학습에 대한 고정된 흥분성/억제성 연결(E/I) 및 가중치 노름 제약의 영향력을 조사한다.

제안 방법

• 오차 전파를 위한 별도의 역전파 피드백 행렬 B를 사용하여 컨볼루션 계층에서 피드백 정렬을 적용한다.
• forward 가중치 W의 부호와 정렬된 B를 갖는 부호 일치 피드백(uSF)를 도입한다.
• 경사도 크기를 제어하고 정렬을 유지하기 위한 정규화 전략(SN, Init.)을 제안한다.
• 학습에 대한 고정된 흥분성/억제성(E/I) 연결성의 효과를 탐구한다.
• 여러 아키텍처에서 MNIST, CIFAR-10, ImageNet에 대해 FA 변형을 평가한다.
• FA 변형과 BP, DFA, DenseFA를 비교하고 효과를 분리하기 위한 일정한 노름 실험을 포함한다.

실험 결과

연구 질문

• RQ1 FA-Scale 방식이 표준 시각 벤치마크에서 심층 CNN에서 역전파 성능에 맞출 수 있는가?
• RQ2 부호 일치 피드백 및 그래디언트 정규화가 FA의 심층 아키텍처 확장성을 개선하는가?
• RQ3 가중치 노름 제약이나 흥분/억제 부호를 고정하는 것이 FA 학습에 어떤 영향을 미치는가?
• RQ4 E/I 제약과 같은 생물학적 타당성 시나리오가 여전히 FA로 효과적인 학습을 가능하게 하는가?

주요 결과

Method	MNIST	CIFAR-10 1	CIFAR-10 2	ImageNet 1	ImageNet 2
BP	0.8	17.2	11.0	79.5	45.5
BP + Noise	0.8	17.4	11.0	79.2	46.0
BP + Alignment	0.9	17.4	11.2	79.4	45.9
FA	1.1	26.6	35.6	95.2	94.5
FA-uSF Init. E/I	0.9	18.9	17.8	86.9	67.8
FA-uSF Init.	0.7	17.6	13.1	79.6	60.1
FA-uSF SN	0.7	17.7	12.6	78.9	54.4
DFA	1.0	28.6	-	-	-
DenseFA	0.7	16.9	-	-	-
BP Const.	-	-	-	46.9	-
FA-uSF Const.	-	-	-	51.2	-
FA-uSF Const E/I	-	-	-	66.1	-

• 부호 일치 피드백 및 정규화를 갖춘 FA 변형이 BP에 비해 여러 데이터 세트에서 경쟁력 있는 Top-1 오류를 달성한다.
• ImageNet에서 부호 일치 피드백과 초기화/노름 제어를 가진 FA가 BP와의 격차를 좁혀 특정 구성에서 비슷한 성능을 달성한다.
• 다양한 FA 적응(init., SN, E/I, Const.)가 서로 다른 이익을 가져오며 일부 방법은 FA–BP 격차를 크게 줄인다(예: FA-uSF Init. 및 SN).
• 전방 가중치 노름을 제약하면 FA 성능이 개선될 수 있으며, 보고된 설정에서 FA-uSF Const가 ImageNet에서 Top-1 51.2%를 달성한다.
• 고정된 가중치 부호 제약(E/I)은 학습을 크게 저해하여 FA 성능에 유연한 부호 동적의 중요성을 보여준다.
• 직접 비교에서 DFA와 DenseFA가 제한된 맥락에서 경쟁력 있는 결과를 낼 수 있으나 대형 모델에 대한 메모리 제약으로 사용이 제한된다.