[논문 리뷰] Exploring the Regularity of Sparse Structure in Convolutional Neural Networks

Huizi Mao, Song Han외 5명|arXiv (Cornell University)|2017. 05. 24.

Advanced Neural Network Applications참고 문헌 21인용 수 230

한 줄 요약

이 논문은 가지치기 granularity가 정확도, 저장 용량, 하드웨어 효율에 미치는 영향을 체계적으로 연구하여, 거친(grain) 희소성이 비슷한 희소도에서 비교 가능한 정확도를 달성하고 메모리 참조를 크게 줄여 하드웨어 가속을 돕는다는 것을 보여준다.

ABSTRACT

Sparsity helps reduce the computational complexity of deep neural networks by skipping zeros. Taking advantage of sparsity is listed as a high priority in next generation DNN accelerators such as TPU. The structure of sparsity, i.e., the granularity of pruning, affects the efficiency of hardware accelerator design as well as the prediction accuracy. Coarse-grained pruning creates regular sparsity patterns, making it more amenable for hardware acceleration but more challenging to maintain the same accuracy. In this paper we quantitatively measure the trade-off between sparsity regularity and prediction accuracy, providing insights in how to maintain accuracy while having more a more structured sparsity pattern. Our experimental results show that coarse-grained pruning can achieve a sparsity ratio similar to unstructured pruning without loss of accuracy. Moreover, due to the index saving effect, coarse-grained pruning is able to obtain a better compression ratio than fine-grained sparsity at the same accuracy threshold. Based on the recent sparse convolutional neural network accelerator (SCNN), our experiments further demonstrate that coarse-grained sparsity saves about 2x the memory references compared to fine-grained sparsity. Since memory reference is more than two orders of magnitude more expensive than arithmetic operations, the regularity of sparse structure leads to more efficient hardware design.

연구 동기 및 목표

• 가지치기 granularity(0-D에서 3-D까지)가 CNN에서 고정된 희소도 수준에서 정확도에 미치는 영향을 평가한다.
• 다른 희소 구조의 저장소 및 메모리 접근 영향을 평가한다.
• CNN 가속기 모델을 사용하여 거친-그레이언드 희소성의 하드웨어 효율성 혜택을 정량화한다.
• 정확도와 하드웨어 비용의 균형을 맞추기 위한 가지치기 그레넬러 선택에 관한 지침을 제공한다.

제안 방법

• 네 가지 가지치기 세분화를 정의한다: 0-D(가중치), 1-D(서브 커널 벡터), 2-D(커널), 3-D(필터).
• 레이어 간에서 가장 작은 L1 중요도를 가진 그레인을 제거하기 위해 크기 기반의 반복 가지치기를 적용한다.
• AlexNet으로 ImageNet에서 학습/평가하고, 동일한 희소도와 학습 스케줄에서 VGG-16, GoogLeNet, ResNet-50, DenseNet-121과 비교한다.
• 저장 용량 영향과 양자화 호환성을 연구하기 위해 8비트 가중치 저장과 4비트 인덱스를 사용한다.
• SCNN 유사 가속기 모델을 사용하여 하드웨어 함의에 대해 질적·정량적으로 분석한다.

실험 결과

연구 질문

• RQ1 CNN 가지치기에서 희소성 규칙성(세분화)과 예측 정확도 간의 트레이드오프는 무엇인가?
• RQ2 같은 정확도 수준에서 거친 그레인 가지치기가 미세 그레인 가지치기보다 더 나은 압축을 달성할 수 있는가?
• RQ3 실제 저장 용량 요구사항과 메모리 참조는 희소성 그레넝에 따라 어떻게 달라지는가?
• RQ4 다른 희소성 세분화에 대한 하드웨어 함의와 가속기 설계 고려사항은 무엇인가?

주요 결과

• 거친-그레인 가지치기는 낮은 희소도에서 정밀 가지치기와 비교했을 때 같은 희소도에서 정확도와 같거나 약간 향상될 수 있다.
• 대규모 그레인 가지치기(필터)는 상당한 정확도 손실을 야기하는 반면, 더 작은 그레인(커널, 벡터)은 정밀 가지치기와 유사한 정확도를 유지한다.
• 거친-그레인 희소성은 인덱스 공유로 인한 더 높은 압축률을 달성하므로 같은 정확도에서 저장 효율이 더 좋거나 비슷하다.
• 거친-그레인 가지치기는 같은 밀도에서 VGG-16의 메모리 참조를 약 30–35% 줄여 에너지 효율을 높인다.
• 거친-그레인 희소성으로 인덱스 절감은 하드웨어 효율성을 향상시키고 가속기 설계를 단순하게 한다.
• 모델(AlexNet, VGG-16, GoogLeNet, ResNet-50, DenseNet-121) 전반에서 거친-그레인 가지치기는 ImageNet에서 높은 Top-5 정확도를 유지하면서 저장 용량과 메모리 참조를 크게 줄일 수 있다.