[논문 리뷰] Accelerating Convolutional Neural Networks via Activation Map Compression

Georgiadis Georgios|arXiv (Cornell University)|2018. 12. 10.

Advanced Neural Network Applications인용 수 5

한 줄 요약

이 논문은 추론 속도를 높이고 메모리 사용량을 줄이기 위해 활성화 맵을 압축하기 위한 세 단계 파이프라인—희소화, 양자화, 엔트로피 코딩—을 제안한다. 초기 레이어에서 희소성을 높이고, 특히 대칭형 지수 골롬(Symmetric Exponential Golomb)을 활용한 엔트로피 코딩을 통해 최대 6배의 압축을 달성하면서 정확도 손실가능성이 거의 없거나 전혀 없으며, Inception-V3와 MobileNet-V1의 추론 속도를 각각 1.6배로 높였다. ImageNet과 CIFAR-10에서 각각 0.38%와 0.54%의 정확도 향상을 달성하였다.

ABSTRACT

The deep learning revolution brought us an extensive array of neural network architectures that achieve state-of-the-art performance in a wide variety of Computer Vision tasks including among others, classification, detection and segmentation. In parallel, we have also been observing an unprecedented demand in computational and memory requirements, rendering the efficient use of neural networks in low-powered devices virtually unattainable. Towards this end, we propose a three-stage compression and acceleration pipeline that sparsifies, quantizes and entropy encodes activation maps of Convolutional Neural Networks. Sparsification increases the representational power of activation maps leading to both acceleration of inference and higher model accuracy. Inception-V3 and MobileNet-V1 can be accelerated by as much as $1.6\ imes$ with an increase in accuracy of $0.38\\%$ and $0.54\\%$ on the ImageNet and CIFAR-10 datasets respectively. Quantizing and entropy coding the sparser activation maps lead to higher compression over the baseline, reducing the memory cost of the network execution. Inception-V3 and MobileNet-V1 activation maps, quantized to $16$ bits, are compressed by as much as $6\ imes$ with an increase in accuracy of $0.36\\%$ and $0.55\\%$ respectively.

연구 동기 및 목표

• 모바일 폰과 자율주행 차량과 같은 저성능 장치에서 현대의 컨volutional 신경망(CNN)의 높은 계산 및 메모리 요구량을 해결하기 위해.
• 활성화 맵을 압축하여 메모리 대역폭과 전력 소비를 줄이기 위해, 이는 크기가 가중치 텐서보다 큰 경우가 흔하기 때문이다.
• 모델 정확도를 훼손하지 않고도 손실 없음 또는 거의 손실 없는 활성화 맵 압축을 가능하게 하기 위해.
• 희소화, 양자화, 엔트로피 코딩을 조합한 파이프라인을 개발하여 압축과 가속화 성능을 극대화하기 위해.
• 훈련 중 활성화 맵의 희소성을 증가시켜도 정확도 저하 없이 효율성과 표현 능력을 모두 향상시킬 수 있음을 입증하기 위해.

제안 방법

• 희소화는 활성화 맵에 학습 가능한 희소성 유도 사전을 도입하여 훈련 중에 적용되며, 정확도 손실 없이 영향을 주지 않고 영향을 주지 않는 활성화 수를 증가시킨다.
• 이 방법은 희소한 활성화 분포를 효율적으로 압축하기 위해 대칭형 지수 골롬(SEG) 엔트로피 코딩을 사용하며, 히프만 코딩과 지수 골롬 코딩보다 우수한 성능을 보인다.
• 양자화는 활성화 값의 비트 폭을 16비트, 12비트, 8비트로 줄여 메모리 프로파일을 추가로 낮추고 효율적인 저장 및 전송을 가능하게 한다.
• 파이프라인은 세 단계로 구성된다: 먼저 활성화를 희소화하고, 그 다음에 양자화를 적용한 후, 마지막으로 결과로 나오는 희소적이고 저비트 폭 텐서에 대해 엔트로피 코딩을 적용한다.
• 이 방법은 ImageNet, CIFAR-10, MNIST 데이터셋에서 Inception-V3, MobileNet-V1, ResNet-18/34, LeNet-5에 대해 검증되었다.
• SEG 및 EG의 파rameter 선택은 1,000장의 검증 서브셋에서 수행되어 압축과 정확도의 상호 균형을 최적화하였다.

실험 결과

연구 질문

• RQ1 정확도 저하 없이 훈련 중 활성화 맵의 희소화를 달성할 수 있는가?
• RQ2 희소한 활성화 분포에 대해 대칭형 지수 골롬(SEG) 코딩은 다른 엔트로피 코딩 기법들보다 얼마나 효과적인가?
• RQ3 저성능 하드웨어 가속기에서 활성화 맵 압축이 얼마나 메모리 대역폭과 전력 소비를 줄일 수 있는가?
• RQ4 희소화, 양자화, 엔트로피 코딩의 조합이 정확도 손실 최소화와 함께 고압축 및 고속도 추론을 달성할 수 있는가?
• RQ5 세 단계 파이프라인 적용 시, 압축 성능, 추론 속도, 정확도 사이의 최적의 트레이드오프는 무엇인가?

주요 결과

• Inception-V3와 MobileNet-V1은 희소화 덕분에 각각 최대 1.6배의 추론 가속을 달성했으며, ImageNet과 CIFAR-10에서 각각 0.38%와 0.54%의 정확도 향상을 기록하였다.
• 16비트 양자화와 엔트로피 코딩을 적용한 결과, 활성화 맵은 최대 6배로 압축되었으며, ImageNet과 CIFAR-10에서 각각 0.36%와 0.55%의 정확도 향상을 달성하였다.
• LeNet-5는 최대 11배의 압축을 기록했고 정확도가 0.01% 향상되었으며, MobileNet-V1은 16비트 양자화에서 최대 10배의 압축을 기록했고 정확도가 0.45% 향상되었다.
• 희소화 단계는 기준 모델 대비 1.1배에서 2.0배의 압축 성능 향상을 가져왔으며, 이에 따라 추론 속도도 1.2배에서 2.3배로 향상되었다.
• 대칭형 지수 골롬(SEG) 코딩은 히프만 코딩, 지수 골롬(EG), ZVC, ZLIB보다도 더 높은 압축 성능을 보였으며, 특히 매우 희소한 분포에서 두각을 나타냈다.
• 이 방법은 하드웨어 가속기에서 상당한 메모리 절감 효과를 가져왔으며, 활성화 메모리 트래픽이 전력 소비를 주도하는 환경에서 외부 DRAM 액세스를 최대 6배까지 줄였다.