[논문 리뷰] Extension of Direct Feedback Alignment to Convolutional and Recurrent Neural Network for Bio-plausible Deep Learning

Donghyeon Han, Gwangtae Park외 2명|arXiv (Cornell University)|2020. 06. 23.

Advanced Memory and Neural Computing참고 문헌 21인용 수 4

한 줄 요약

이 논문은 백프로파게이션(BP)의 대안으로서 생물학적으로 타당한 학습을 컨volutional 신경망(CNNs)과 순환 신경망(RNNs)으로 확장하기 위해 하이브리드 직접 피드백 정렬(HDFA) 방법을 제안한다. 이 방법은 네트워크를 모듈화하고, CNNs에 대해 확장된(디레이티드) 및 그룹화된 컨볼루션을 사용하며, RNNs에 대해 희소한 역방향 가중치를 적용하고, BP와 DFA를 융합하여 BP 수준의 정확도를 달성한다. 이 접근법은 최소한의 하드웨어 비용으로 최신 기술 수준의 정확도를 달성하며, 병렬 학습을 위한 역방향 잠금을 제거한다.

ABSTRACT

Throughout this paper, we focus on the improvement of the direct feedback alignment (DFA) algorithm and extend the usage of the DFA to convolutional and recurrent neural networks (CNNs and RNNs). Even though the DFA algorithm is biologically plausible and has a potential of high-speed training, it has not been considered as the substitute for back-propagation (BP) due to the low accuracy in the CNN and RNN training. In this work, we propose a new DFA algorithm for BP-level accurate CNN and RNN training. Firstly, we divide the network into several modules and apply the DFA algorithm within the module. Second, the DFA with the sparse backward weight is applied. It comes with a form of dilated convolution in the CNN case, and in a form of sparse matrix multiplication in the RNN case. Additionally, the error propagation method of CNN becomes simpler through the group convolution. Finally, hybrid DFA increases the accuracy of the CNN and RNN training to the BP-level while taking advantage of the parallelism and hardware efficiency of the DFA algorithm.

연구 동기 및 목표

• 백프로파게이션(BP)의 대안으로서의 직접 피드백 정렬(DFA)이 컨볼루션 신경망(CNNs)과 순환 신경망(RNNs) 학습에서 낮은 정확도를 보이는 문제를 해결하기 위해.
• 백프로파게이션(BP)에서 발생하는 역방향 잠금 문제를 생물학적으로 타당한 방법으로 오차 전파를 병렬화함으로써 해결하기 위해.
• 메모리 트랜잭션과 계산 비용을 줄이면서도 백프로파게이션(BP) 수준의 정확도를 달성하기 위해.
• DFA와 BP의 장점을 모두 활용하는 최적의 성능과 하드웨어 효율성을 달성하기 위해 하이브리드 학습 프레임워크(HDFA)를 개발하기 위해.

제안 방법

• CNNs와 RNNs를 더 작은 모듈식 구성요소로 나누어 각 모듈 내에서 국소적인 직접 오차 전파를 가능하게 하기 위해.
• CNNs에서 오차 전파를 위해 확장된(디레이티드) 컨볼루션을 적용하여 파rameter 의존성을 감소시키고 기울기 흐름을 향상시키기 위해.
• CNNs에서 오차 전파를 단순화하고 채널 수준의 데이터 의존성을 제거하기 위해 그룹 컨볼루션을 사용하기 위해.
• RNNs에서 복잡성을 줄이고 계산량을 감소시키기 위해, 특히 상삼각 행렬 구조를 사용한 희소한 역방향 가중치 행렬을 구현하기 위해.
• 메모리 트랜잭션과 계산 부담을 줄이기 위해 이진 및 희소한 DFA 최적화 기법을 도입하기 위해.
• BP와 DFA를 융합한 하이브리드 학습 알고리즘(HDFA)을 제안하기 위해: 핵심 레이어에는 BP를, 나머지 레이어에는 DFA를 사용하여 BP 수준의 정확도를 달성하면서도 하드웨어 비용을 낮추기 위해.

실험 결과

연구 질문

• RQ1 직접 피드백 정렬(DFA)이 컨볼루션 신경망(CNNs)과 순환 신경망(RNNs)을 효과적으로 학습시키며 백프로파게이션(BP) 수준의 정확도를 달성할 수 있는가?
• RQ2 생물학적으로 타당한 오차 전파 방법을 사용하여 BP에서 발생하는 역방향 잠금 문제를 어떻게 해결할 수 있는가?
• RQ3 어떤 아키텍처적 수정(예: 확장된 컨볼루션, 그룹 컨볼루션, 희소 가중치)이 CNNs와 RNNs에서 DFA 성능을 향상시키는가?
• RQ4 BP와 DFA를 융합한 하이브리드 학습 전략이 하드웨어 비용과 메모리 트랜잭션을 최소화하면서도 BP 수준의 정확도를 달성할 수 있는가?
• RQ5 제안된 HDFA 방법이 다중 GPU 환경에서 오차 전파를 얼마나 잘 병렬화할 수 있는가?

주요 결과

• 제안된 HDFA 방법은 CIFAR-10 및 CIFAR-100 데이터셋에서 BP 수준의 테스트 정확도를 달성하며, ResNet-50 실험에서 98%의 정확도를 기록했다.
• 기존 BP와 비교해 메모리 트랜잭션을 최대 98% 감소시켰으며, 98% 희소성에서 RNN 학습 시 단지 1.1 GOP(giga operations)의 계산량을 기록했다.
• 역방향 잠금 제거와 완전한 병렬성 덕분에 RNN 학습에서 HDFA의 오차 전파 속도가 BP 대비 최대 35배 빨라졌다.
• CNNs에서 확장된 컨볼루션과 그룹 컨볼루션을 사용함으로써 오차 전파 복잡도가 감소하고 학습 안정성이 향상되었다.
• 특히 상삼각 행렬을 사용한 RNN의 희소한 역방향 가중치는 계산 및 메모리 사용량을 줄였지만 높은 정확도를 유지했다.
• HDFA는 기존 BP, 일반 DFA, 개선된 DFA와 비교해 모든 테스트 방법 중에서 가장 낮은 하드웨어 비용을 기록했으며, BP 수준의 성능를 유지는 했다.