[논문 리뷰] A Unified Approximation Framework for Deep Neural Networks.

Yuzhe Ma, Ran Chen외 5명|arXiv (Cornell University)|2018. 07. 26.

Sparse and Compressive Sensing Techniques인용 수 3

한 줄 요약

이 논문은 활성화 이후 특징 맵 복원 오차를 최소화하기 위해 ADMM를 사용하는 통합 프레임워크를 제안하며, 구조적 희소성과 낮은 질서 근사치를 결합하여 합성곱 신경망을 압축한다. 이 방법은 VGG-16에서 모델 크기를 4배 이상 압축하고 정확도 손실가 장치 없이 최대 2.2배의 추론 속도 향상을 달성한다.

ABSTRACT

Deep neural networks (DNNs) have achieved significant success in a variety of real world applications. However, tons of parameters in the networks restrict the efficiency of neural networks due to the large model size and the intensive computation. To address this issue, various compression and acceleration techniques have been investigated, among which low-rank filters and sparse filters are heavily studied. In this paper we propose a unified framework to compress the convolutional neural networks by combining these two strategies, while taking the nonlinear activation into consideration. The filer of a layer is approximated by the sum of a sparse component and a low-rank component, both of which are in favor of model compression. Especially, we constrain the sparse component to be structured sparse which facilitates acceleration. The performance of the network is retained by minimizing the reconstruction error of the feature maps after activation of each layer, using the alternating direction method of multipliers (ADMM). The experimental results show that our proposed approach can compress VGG-16 and AlexNet by over 4X. In addition, 2.2X and 1.1X speedup are achieved on VGG-16 and AlexNet, respectively, at a cost of less increase on error rate.

연구 동기 및 목표

• 큰 모델 크기와 높은 계산 비용으로 인한 딥 네트워크의 효율성 문제를 해결하기 위해.
• 합성곱 레이어에 대해 낮은 질서와 구조적 희소 근사 전략을 통합하여 모델 압축을 향상시키기 위해.
• 활성화된 특징 맵의 복원 오차를 최소화하여 압축 중 네트워크 성능을 유지하기 위해.
• 구조적 희소성을 통해 하드웨어 가속을 지원하는 효율적인 추론을 가능하게 하기 위해.
• 표준 아키텍처인 VGG-16과 AlexNet에 적용 가능한 확장성 있고 종단 간 압축 방법을 개발하기 위해.

제안 방법

• 각 레이어의 필터를 희소 성분과 낮은 질서 성분의 합으로 근사하여 이중 압축 이점을 제공한다.
• 희소 성분은 구조적 희소성으로 제약되며, 이는 효율적 계산과 하드웨어 가속을 촉진한다.
• 활성화 이후 특징 맵의 복원 오차를 최소화하기 위해 분할 정렬 다중 승수 방법(ADMM)을 사용하여 근사치를 최적화한다.
• 최적화는 계층별로 수행되어 압축 중 비선형 활성화 효과를 유지한다.
• 프레임워크는 계층 간 반복적으로 적용되어 표준 훈련 및 추론 파이프라인과 호환성을 유지한다.
• 이 방법은 현대 가속기에서 효율적 구현이 가능한 가중치 공유 및 희소성 패턴을 지원한다.

실험 결과

연구 질문

• RQ1 낮은 질서와 구조적 희소 근사치를 결합하면 정확도 손실 없이 모델 압축을 향상시킬 수 있는가?
• RQ2 ADMM는 DNN 압축 중 활성화된 특징 맵의 복원 오차를 얼마나 효과적으로 최소화하는가?
• RQ3 제안된 프레임워크는 VGG-16과 AlexNet에서 모델 크기를 얼마나 줄이고 추론 속도를 빠르게 할 수 있는가?
• RQ4 구조적 희소성은 비구조적 희소성보다 압축된 네트워크에서 더 나은 가속 성능을 제공하는가?
• RQ5 제안된 통합 프레임워크에서 압축 비율, 속도 향상, 정확도 사이의 상충 관계는 어떠한가?

주요 결과

• 제안된 방법은 VGG-16과 AlexNet의 모델 크기를 각각 4배 이상 압축한다.
• VGG-16에서 오차율 증가가 최소한이면서 2.2배의 속도 향상을 달성한다.
• AlexNet에서는 1.1배의 속도 향상을 달성하여 다양한 아키텍처에 대한 확장성을 입증한다.
• 구조적 희소성의 사용은 높은 압축 효율성을 유지하면서 효과적인 가속을 가능하게 한다.
• ADMM를 사용하여 활성화 이후 특징 맵의 복원 오차를 효과적으로 최소화하여 네트워크 성능을 유지한다.
• 강력한 압축에도 불구하고 경쟁력 있는 정확도를 유지하여 실용적 적용 가능성을 입증한다.