[논문 리뷰] Direct Feedback Alignment Provides Learning in Deep Neural Networks

Arild Nøkland|arXiv (Cornell University)|2016. 09. 06.

Neural Networks and Applications참고 문헌 11인용 수 179

한 줄 요약

본 논문은 고정된 임의 피드백 가중치가 출력에서 은닉층으로 직접 오차를 전달하는 생물학적으로 타당한 학습 방법인 Direct Feedback Alignment(DFA)를 제시한다. 이를 통해 심층 네트워크가 역전파 없이 학습하도록 하고 MNIST와 CIFAR 데이터셋에서 BP와 상당한 경쟁력을 갖는다.

ABSTRACT

Artificial neural networks are most commonly trained with the back-propagation algorithm, where the gradient for learning is provided by back-propagating the error, layer by layer, from the output layer to the hidden layers. A recently discovered method called feedback-alignment shows that the weights used for propagating the error backward don't have to be symmetric with the weights used for propagation the activation forward. In fact, random feedback weights work evenly well, because the network learns how to make the feedback useful. In this work, the feedback alignment principle is used for training hidden layers more independently from the rest of the network, and from a zero initial condition. The error is propagated through fixed random feedback connections directly from the output layer to each hidden layer. This simple method is able to achieve zero training error even in convolutional networks and very deep networks, completely without error back-propagation. The method is a step towards biologically plausible machine learning because the error signal is almost local, and no symmetric or reciprocal weights are required. Experiments show that the test performance on MNIST and CIFAR is almost as good as those obtained with back-propagation for fully connected networks. If combined with dropout, the method achieves 1.45% error on the permutation invariant MNIST task.

연구 동기 및 목표

• 대칭 또는 상호 호환 가중치를 필요로 하지 않는 역전파의 생물학적으로 타당한 대안을 제시하는 것을 목표로 한다.
• 고정된 임의 피드백이 직접적 또는 간접적 피드백 경로를 통해 심층 네트워크의 학습을 가능하게 함을 입증한다.
• DFA가 매우 깊고 합성곱 신경망을 학습시킬 수 있으며 표준 벤치마크에서 역전파에 가까운 성능을 달성함을 보인다.

제안 방법

• 고정된 임의 피드백 행렬 B_i를 사용하여 DFA, FA, IFA 업데이트 규칙을 정의하고 출력에서의 그래디언트 e를 이용해 업데이트 방향을 도출한다.
• 업데이트 방향을 보인다: DFA: delta h_i = (B_i e) ⊙ f'(a_i); FA: delta h_i = (B_i δ_{i+1}) ⊙ f'(a_i); IFA: delta h_i = (W_i δ_{i-1}) ⊙ f'(a_i).
• 피드백 경로와 순방향 경로의 정렬이 하강 방향으로 연결되는 이론적 메커니즘(Theorem 1)을 제시하고 비대칭 피드백에서의 학습 조건을 논의한다.

실험 결과

연구 질문

• RQ1 대칭 가중치 없이 고정된 임의 피드백 경로가 은닉 층에 유용한 오차 신호를 제공할 수 있는가?
• RQ2 Direct Feedback Alignment가 심층 및 합성곱 네트워크의 학습에서 Back-Propagation과 Feedbaack Alignment와 어떻게 비교되는가?
• RQ3 표준 벤치마크에서 DFA 성능에 영향을 주는 규제화나 초기화 전략은 무엇인가?
• RQ4 DFA가 BP나 FA로 가능한 것보다 더 깊은 네트워크를 학습시킬 수 있는가, 관찰된 한계는 무엇인가?

주요 결과

• DFA는 심층 네트워크를 학습시키고 다양한 구조에서 MNIST 및 CIFAR-10/100에서 훈련 오차를 제로로 도달할 수 있다.
• MNIST에서 DFA는 완전 연결 네트워크에 대해 BP 및 FA에 근접한 테스트 성능을 달성하고, 드롭아웃을 적용하면 순열 불변 MNIST에서 1.45% 오차를 달성한다.
• DFA는 BP가 동일한 초기화에서 어려움을 겪는 경우도 있는 매우 깊은 네트워크(예를 들어 100개의 은닉 계층)를 학습할 수 있으며, CNN에서 BP가 종종 DFA보다 우수하지만 DFA는 여러 구성에서 여전히 경쟁력을 유지한다.
• t-SNE 시각화는 DFA가 BP와 비슷하게 클래스를 구분하는 은닉 표현을 학습하여 은닉층에서 유용한 특징 학습을 나타냄을 보여준다.
• 전방 경로와 피드백 경로의 분리는 DFA/IFA 하에서 학습을 배제하지 않으며, 유연성과 잠재적 생물학적 타당성을 강조한다.