[논문 리뷰] Deep Adaptive Network: An Efficient Deep Neural Network with Sparse Binary Connections

Xichuan Zhou, Shengli Li외 6명|arXiv (Cornell University)|2016. 04. 21.

Advanced Neural Network Applications참고 문헌 27인용 수 9

한 줄 요약

이 논문은 희소 이진 연결을 통해 메모리 사용을 99.3% 감소시키고 계산량을 99.9% 줄이며, MNIST에서 97.2%의 정확도를 유지하는 하드웨어 효율적인 딥 신경망인 딥 어댑티브 네트워크를 제안한다. 이는 정규 딥 베리프 네트워크와 유사한 정확도를 달성하면서도 최소한의 정확도 손실을 유발한다.

ABSTRACT

Deep neural networks are state-of-the-art models for understanding the content of images, video and raw input data. However, implementing a deep neural network in embedded systems is a challenging task, because a typical deep neural network, such as a Deep Belief Network using 128x128 images as input, could exhaust Giga bytes of memory and result in bandwidth and computing bottleneck. To address this challenge, this paper presents a hardware-oriented deep learning algorithm, named as the Deep Adaptive Network, which attempts to exploit the sparsity in the neural connections. The proposed method adaptively reduces the weights associated with negligible features to zero, leading to sparse feedforward network architecture. Furthermore, since the small proportion of important weights are significantly larger than zero, they can be robustly thresholded and represented using single-bit integers (-1 and +1), leading to implementations of deep neural networks with sparse and binary connections. Our experiments showed that, for the application of recognizing MNIST handwritten digits, the features extracted by a two-layer Deep Adaptive Network with about 25% reserved important connections achieved 97.2% classification accuracy, which was almost the same with the standard Deep Belief Network (97.3%). Furthermore, for efficient hardware implementations, the sparse-and-binary-weighted deep neural network could save about 99.3% memory and 99.9% computation units without significant loss of classification accuracy for pattern recognition applications.

연구 동기 및 목표

• 임베디드 시스템에서의 딥 신경망이 요구하는 높은 메모리 및 계산 자원을 해결하기 위해.
• 정확도 손실이 크지 않게 모델 크기와 추론 비용을 줄이기 위해.
• 희소성과 이진 가중치 표현을 통해 효율적인 하드웨어 배포를 가능하게 하기 위해.
• 중요한 특징을 유지하면서도 훈련 가능한 적응형 프루닝 기법을 개발하기 위해.

제안 방법

• 미미한 특징과 관련된 가중치를 자동으로 0으로 설정하여 네트워크 내에서 구조적 희소성을 유도한다.
• 가장 중요한 가중치만 유지하기 위해 임계값 기반의 프루닝 메커니즘을 적용하고, 이를 ±1로 이진화한다.
• 희소성 정규화와 함께 엔드 투 엔드 훈련이 가능한 미분 가능한 프루닝 전략을 사용한다.
• 두 단계 훈련 과정을 구현한다: 먼저 표준 백프로파게이션으로 사전 훈련하고, 이후 희소성 및 이진화 제약 조건 하에 미세조정한다.
• 저전력 하드웨어에 적합한 희소 및 이진 가중치 피드포워드 아키텍처를 구현한다.
• 이진 가중치 훈련 중 기울기 안정성을 확보하기 위해 재매개변수화 기법을 도입한다.

실험 결과

연구 질문

• RQ1 적응형 프루닝과 이진 양자화가 딥 신경망의 분류 정확도를 유지할 수 있는가?
• RQ2 희소성과 이진 가중치는 얼마나 깊은 신경망의 메모리 및 계산량을 줄일 수 있는가?
• RQ3 기본 베이시스 네트워크와 비교해 기준 데이터셋에서 제안된 방법의 정확도는 어떠한가?
• RQ4 희소 이진 네트워크에서 모델 압축과 성능 손실 사이의 상충 관계는 어떠한가?
• RQ5 고정밀도 정확도를 유지하면서도 효과적으로 엔드 투 엔드 훈련이 가능한가?

주요 결과

• 딥 어댑티브 네트워크는 유지된 연결 비율이 25%에 불과한 상황에서 MNIST 데이터셋에서 97.2%의 분류 정확도를 달성했다.
• 모델은 전체 정밀도 네트워크 대비 약 99.3%의 메모리 사용량 감소를 기록했다.
• 희소성과 이진 가중치 표현 덕분에 계산 연산 수가 99.9% 감소했다.
• 성능는 표준 딥 베리프 네트워크와 거의 동일했으며, 이는 97.3%의 정확도를 기록했다.
• ±1로 극도로 양자화된 가중치에도 불구하고 높은 강건성과 일반화 능력을 유지했다.
• 자원이 제한된 임베디드 시스템에의 배포 잠재력이 높게 나타났다.