[논문 리뷰] Using Weight Mirrors to Improve Feedback Alignment

Mohamed Akrout, Collin Wilson외 3명|arXiv (Cornell University)|2019. 04. 10.

Advanced Memory and Neural Computing참고 문헌 15인용 수 9

한 줄 요약

이 논문은 가중치 운반 없이 피드백 정렬을 가능하게 하기 위해 가중치 미러와 수정된 Kolen-Pollack 알고리즘을 제안하며, ImageNet에서 표준 backpropagation 성능에 근접한 성능을 달성한다. 피드백 경로가 빠르게 정확한 시냅스 가중치를 학습할 수 있도록 한다. 이 방법은 표준 피드백 정렬과 sign-symmetry를 능가하며, 표준 backpropagation에 가까운 정확도를 달성한다.

ABSTRACT

Current algorithms for deep learning probably cannot run in the brain because they rely on weight transport, where forward-path neurons transmit their synaptic weights to a feedback path, in a way that is likely impossible biologically. An algorithm called feedback alignment achieves deep learning without weight transport by using random feedback weights, but it performs poorly on hard visual-recognition tasks. Here we describe two mechanisms - a neural circuit called a weight mirror and a modification of an algorithm proposed by Kolen and Pollack in 1994 - both of which let the feedback path learn appropriate synaptic weights quickly and accurately even in large networks, without weight transport or complex wiring.Tested on the ImageNet visual-recognition task, these mechanisms outperform both feedback alignment and the newer sign-symmetry method, and nearly match backprop, the standard algorithm of deep learning, which uses weight transport.

연구 동기 및 목표

• 표준 backpropagation에서 가중치 운반의 생물학적 비현실성을 해결하기 위해 피드백 경로를 통해 전방 가중치를 되돌려 보내는 필요성을 제거한다.
• 어려운 시각 작업에서 현재 제한되어 있는 피드백 정렬의 성능을 향상시키기 위해 정확한 피드백 가중치 학습을 가능하게 한다.
• 복잡한 배선 없이도 대규모 네트워크에서 피드백 경로가 신속하고 정확하게 적절한 시냅스 가중치를 학습할 수 있는 메커니즘을 개발한다.
• 생물학적으로 타당성을 유지하면서도 ImageNet에서 표준 backpropagation에 가까운 성능을 달성한다.

제안 방법

• 전방 가중치를 되돌려 보내지 않아도 시냅스 가중치를 학습할 수 있도록 하는 신경 회로인 '가중치 미러'를 도입한다.
• Kolen-Pollack(1994) 알고리즘을 적응 및 수정하여 국소적이고 생물학적으로 타당한 업데이트를 통해 피드백 가중치를 학습할 수 있도록 한다.
• 초기에는 무작위 피드백 가중치를 사용하지만, 전방 가중치 동역학을 기반으로 피드백 가중치를 추적하고 조정하는 가중치 미러 메커니즘을 통해 이를 수정한다.
• 국소적 오차 신호와 전방 가중치 정보를 기반으로 피드백 가중치를 업데이트하는 국소 학습 규칙을 활용하여 전역적 가중치 운반을 피한다.
• 전방 및 피드백 가중치 업데이트를 동기화하는 닫힌 루프 메커니즘을 통해 깊은 네트워크에서 피드백 가중치의 빠르고 정확한 수렴을 가능하게 한다.
• 피드백 경로에서 전방 가중치를 알 필요 없이 시스템이 작동하므로 생물학적으로 타당하다.

실험 결과

연구 질문

• RQ1 가중치 운반에 의존하지 않고 피드백 정렬을 크게 향상시킬 수 있는가, 이를 통해 생물학적으로 더 타당한가?
• RQ2 가중치 미러와 같은 국소적이고 회로 수준의 메커니즘이 깊은 네트워크에서 정확한 피드백 가중치 학습을 가능하게 할 수 있는가?
• RQ3 이러한 방법이 대규모 시각 인식 작업에서 표준 피드백 정렬 및 sign-symmetry와 비교해 성능 면에서 어떻게 다른가?
• RQ4 이 방법은 생물학적으로 비현실적인 메커니즘을 피하면서 표준 backpropagation의 성능에 얼마나 가까이 다가갈 수 있는가?
• RQ5 수정된 Kolen-Pollack 알고리즘이 대규모이고 깊은 네트워크에서 시각 인식에 효과적으로 확장될 수 있는가?

주요 결과

• 제안된 방법은 ImageNet 시각 인식 작업에서 표준 피드백 정렬 및 sign-symmetry 방법을 능가한다.
• 이 방법은 표준 backpropagation, 즉 현재 딥러닝의 기준 성능에 거의 근접한 성능을 달성한다.
• 가중치 미러를 통해 가중치 운반 없이도 피드백 가중치를 신속하고 정확하게 학습할 수 있다.
• 알고리즘은 대규모 네트워크에서도 높은 성능를 유지하여 확장성과 강건성을 입증한다.
• 수정된 Kolen-Pollack 메커니즘은 국소 정보만을 사용하여 피드백 가중치를 신속하고 정확하게 수렴시킨다.
• 이 시스템은 ImageNet에서 가중치 운반 없이도 최신 기술 수준의 성능를 달성한다.