[논문 리뷰] Efficient Convolutional Neural Network Training with Direct Feedback Alignment

Donghyeon Han, Hoi‐Jun Yoo|arXiv (Cornell University)|2019. 01. 06.

Video Surveillance and Tracking Methods참고 문헌 28인용 수 12

한 줄 요약

이 논문은 백프로파게이션과 직접 피드백 일치(DFA)를 결합하여 훈련 안정성과 효율성을 향상시키는 새로운 훈련 방법인 이진 직접 피드백 일치(BDFA)를 제안한다. 피드백 가중치를 이진화하고 새로운 피드백 가중치 초기화 기법을 도입함으로써, BDFA는 특히 소규모 데이터셋에서 표준 백프로파게이션보다 높은 정확도를 달성하면서 계산 비용과 메모리 대역폭 요구량을 감소시킨다.

ABSTRACT

There were many algorithms to substitute the back-propagation (BP) in the deep neural network (DNN) training. However, they could not become popular because their training accuracy and the computational efficiency were worse than BP. One of them was direct feedback alignment (DFA), but it showed low training performance especially for the convolutional neural network (CNN). In this paper, we overcome the limitation of the DFA algorithm by combining with the conventional BP during the CNN training. To improve the training stability, we also suggest the feedback weight initialization method by analyzing the patterns of the fixed random matrices in the DFA. Finally, we propose the new training algorithm, binary direct feedback alignment (BDFA) to minimize the computational cost while maintaining the training accuracy compared with the DFA. In our experiments, we use the CIFAR-10 and CIFAR-100 dataset to simulate the CNN learning from the scratch and apply the BDFA to the online learning based object tracking application to examine the training in the small dataset environment. Our proposed algorithms show better performance than conventional BP in both two different training tasks especially when the dataset is small.

연구 동기 및 목표

• 특히 깊은 아키텍처에서 직접 피드백 일치(DFA)의 훈련 정확도와 안정성이 낮은 문제를 해결한다.
• 전통적인 백프로파게이션(BP)과 통합함으로써 DFA의 한계를 극복하여 CNN 내 학습 성능을 향상시킨다.
• DFA 기반 훈련의 안정성과 수렴 속도를 향상시키기 위해 새로운 피드백 가중치 초기화 방법을 개발한다.
• 이진 직접 피드백 일치(BDFA)를 통해 피드백 가중치를 이진화하여 계산 비용을 최소화하면서도 훈련 정확도를 유지한다.
• 표준 CNN 훈련(초기 훈련부터 시작)과 실제 온라인 학습 시나리오, 예를 들어 제한된 데이터로의 객체 추적과 같은 상황에서 제안된 방법을 평가한다.

제안 방법

• 백프로파게이션의 기울기 정확도를 활용하면서도 DFA의 계산적 이점도 유지하기 위해 훈련 중에 DFA와 표준 백프로파게이션을 통합한다.
• DFA에서 고정된 랜덤 행렬을 분석함으로써 새로운 피드백 가중치 초기화 방법을 제안하여, 훈련 안정성과 수렴 속도를 향상시킨다.
• 피드백 가중치 행렬을 이진화하여 메모리 대역폭과 계산 비용을 극적으로 감소시키는 이진 직접 피드백 일치(BDFA)를 도입한다.
• VGG-16에 대해 CIFAR-10 및 CIFAR-100 데이터셋에서 초기 훈련을 수행하면서 정밀도가 높은 피드백 가중치와 이진화된 피드백 가중치를 사용한다.
• MDNet의 완전 연결 계층에서 백프로파게이션을 BDFA로 대체함으로써 객체 추적에 대한 온라인 학습에 BDFA를 적응시켜 소규모 데이터셋에서의 효율적 피지컬 튜닝을 가능하게 한다.
• 특히 이진 피드백 설정에서 성능을 향상시키기 위해 완전 연결 계층 뒤에 배치 정규화(BN)를 적용한다.

실험 결과

연구 질문

• RQ1 DFA와 백프로파게이션을 조합함으로써, 특히 깊은 아키텍처에서 표준 BP보다 CNN 내 훈련 정확도가 향상되는가?
• RQ2 제안된 피드백 가중치 초기화 방법은 CNN 내 DFA 기반 훈련의 안정성과 수렴 속도에 어떤 영향을 미치는가?
• RQ3 BDFA에서 피드백 가중치를 이진화하면 CNN 내 계산 비용을 얼마나 줄일 수 있으며, 동시에 훈련 정확도를 유지할 수 있는가?
• RQ4 실시간 객체 추적과 같은 소규모 데이터셋에서 온라인 학습 시나리오에서 BDFA가 표준 BP를 초월할 수 있는가?
• RQ5 완전 연결 계층 뒤에 배치 정규화를 통합하면 BDFA와 DFA의 CNN 훈련 성능에 어떤 영향을 미치는가?

주요 결과

• 제안된 DFA와 BP의 조합(CDFA)은 데이터 증강 없이도 CIFAR-10 및 CIFAR-100 데이터셋에서 표준 백프로파게이션보다 높은 테스트 정확도를 달성한다.
• 새로운 피드백 가중치 초기화 방법은 훈련 안정성과 수렴 속도를 크게 향상시켜 DFA 기반 훈련에서 발산 위험을 줄인다.
• 이진 직접 피드백 일치(BDFA)는 정밀도가 높은 DFA와 비교해 훈련 정확도를 유지하면서도 메모리 대역폭과 계산 비용을 극적으로 감소시킨다.
• CBDFA(통합 BDFA)는 소규모 배치 크기에서 OTB 데이터셋의 객체 추적 작업에서 표준 BP와 다른 기준선보다 뛰어난 성능을 보인다.
• 완전 연결 계층 뒤에 배치 정규화를 추가하면 BDFA 성능이 향상되며, 이는 일반적으로 BP에서 FC 계층 뒤에 BN을 적용하면 성능이 떨어지는 것과는 반대되는 현상이다.
• 병렬화 가능한 오차 전파와 피드백 경로의 데이터 트랜잭션 감소 덕분에, BDFA는 제한된 데이터로의 온라인 학습 환경에서 BP보다 뛰어난 성능을 보인다.