[논문 리뷰] Deep Learning without Weight Transport

Mohamed Akrout, Collin Wilson외 3명|arXiv (Cornell University)|2019. 04. 10.

Advanced Memory and Neural Computing참고 문헌 33인용 수 60

한 줄 요약

논문은 두 가지 메커니즘(weight mirror와 Kolen-Pollack reciprocal learning)을 제시하여 딥 네트워크가 weight transport 없이 학습하도록 하고, ImageNet에서 backprop 성능에 거의 근접하며 기존의 transport-free 방법들을 능가한다.

ABSTRACT

Current algorithms for deep learning probably cannot run in the brain because they rely on weight transport, where forward-path neurons transmit their synaptic weights to a feedback path, in a way that is likely impossible biologically. An algorithm called feedback alignment achieves deep learning without weight transport by using random feedback weights, but it performs poorly on hard visual-recognition tasks. Here we describe two mechanisms - a neural circuit called a weight mirror and a modification of an algorithm proposed by Kolen and Pollack in 1994 - both of which let the feedback path learn appropriate synaptic weights quickly and accurately even in large networks, without weight transport or complex wiring.Tested on the ImageNet visual-recognition task, these mechanisms outperform both feedback alignment and the newer sign-symmetry method, and nearly match backprop, the standard algorithm of deep learning, which uses weight transport.

연구 동기 및 목표

• 뇌와 유사한 학습에서 weight-transport 문제를 동기 부여하고 해결한다.
• feedback weights를 학습하기 위한 두 개의 transport-free 메커니즘을 제안한다.
• Backprop 및 기존 transport-free 방법에 대해 경쟁력 있는 ImageNet 성능을 시연한다.

제안 방법

• weight mirror와 Kolen-Pollack에서 영감을 받은 reciprocal 네트워크를 도입하여 weight transport 없이 feedback weights를 학습한다.
• explicit weight sharing 없이 forward weights의 transpose로 수렴하도록 feedback weights를 학습하는 규칙을 도출한다.
• mirror 모드에서 Hebbian-like 업데이트를 통해 weight mirrors가 W^T를 근사함을 보인다.
• weights를 운반하지 않는 학습 규칙을 레이어 단위 및 엔드-투-엔드 학습에 적용한다.
• ResNet-18/50 CNN 및 batch normalization과 ReLU에 대한 아키텍처 및 학습 세부 정보를 제공한다.

실험 결과

연구 질문

• RQ1 feedback 경로가 weight transport 없이 적절한 시냄프스 가중치를 학습하여 높은 성능의 학습을 달성할 수 있는가?
• RQ2 weight mirrors와 Kolen-Pollack-inspired 네트워크가 ImageNet까지 확장되고 backprop 및 다른 transport-free 방법과 경쟁할 수 있는가?

주요 결과

• Weight-mirror와 Kolen-Pollack 네트워크가 ImageNet에서 일반적인 feedback alignment 및 sign-symmetry를 능가한다.
• With ResNet-18, WM achieves 30.2% top-1 error and KP 29.2% top-1 error (vs 97.4% FA, 39.2% SS, 30.1% BP).
• With ResNet-50, WM achieves 23.4% top-1 error and KP 23.9% (vs 98.9% FA, 33.8% SS, 22.9% BP).
• 두 방법 모두 backprop 성능을 근접하게 추적하며 weight transport 없이도 경쟁력 있는 결과를 제공한다.
• Weight mirrors는 계층 간 B와 W^T 사이의 각도가 작으며(전체에서 12° 미만; δ-각도는 25° 미만).
• Kolen-Pollack은 약 20 에포크 내에 거의 제로에 가까운 행렬 및 δ-각도 오차를 달성하여 forward transpose와의 강한 정렬을 나타낸다.