[논문 리뷰] Learning Structured Sparsity in Deep Neural Networks

Wei Wen, Chunpeng Wu외 3명|arXiv (Cornell University)|2016. 08. 12.

Domain Adaptation and Few-Shot Learning참고 문헌 18인용 수 468

한 줄 요약

논문은 Structured Sparsity Learning (SSL)을 도입합니다. 이는 DNN에서 컴팩트하고 하드웨어 친화적인 구조(필터, 채널, 모양, 깊이)를 학습하는 Group Lasso 기반 정규화 방법으로, 정확도 유지 또는 향상을 전제하면서 실용적인 속도 향상을 크게 달성합니다.

ABSTRACT

High demand for computation resources severely hinders deployment of large-scale Deep Neural Networks (DNN) in resource constrained devices. In this work, we propose a Structured Sparsity Learning (SSL) method to regularize the structures (i.e., filters, channels, filter shapes, and layer depth) of DNNs. SSL can: (1) learn a compact structure from a bigger DNN to reduce computation cost; (2) obtain a hardware-friendly structured sparsity of DNN to efficiently accelerate the DNNs evaluation. Experimental results show that SSL achieves on average 5.1x and 3.1x speedups of convolutional layer computation of AlexNet against CPU and GPU, respectively, with off-the-shelf libraries. These speedups are about twice speedups of non-structured sparsity; (3) regularize the DNN structure to improve classification accuracy. The results show that for CIFAR-10, regularization on layer depth can reduce 20 layers of a Deep Residual Network (ResNet) to 18 layers while improve the accuracy from 91.25% to 92.60%, which is still slightly higher than that of original ResNet with 32 layers. For AlexNet, structure regularization by SSL also reduces the error by around ~1%. Open source code is in https://github.com/wenwei202/caffe/tree/scnn

연구 동기 및 목표

• 큰 모델에서 컴팩트한 DNN 구조를 학습하여 계산 비용을 줄인다.
• 하드웨어 친화적인 구조적 희소성을 생성하여 DNN 가속화를 가능하게 한다.
• 단일 프레임워크로 여러 DNN 구조(필터, 채널, 모양, 깊이)의 규제를 조사한다.
• 축소된 구조를 학습할 때 정확도 유지 또는 향상을 보여준다.

제안 방법

• 데이터 손실과 표준 정규화, 레이어 단위 그룹화 희소성 항을 결합한 일반적인 SSL 목표를 Formulate 한다(Group Lasso 사용).
• 필터, 채널, 필터 모양, 네트워크 깊이 등 서로 다른 구조적 그룹에 대해 그룹 라소를 적용한다.
• GEMM 기반 구현에 맞추어 2D-필터 단위 희소성 및 모양 단위 희소성과 같은 실용적 변형을 도출한다.
• 전체 레이어를 가지치기할 때 정보 흐름이 끊기는 것을 방지하기 위해 shortcut 연결과 함께 깊이 정규화를 도입한다.
• 오프-더-쉘프 라이브러리를 사용하여 MNIST(LeNet, MLP), CIFAR-10(ConvNet, ResNet), ImageNet(AlexNet)에서 SSL을 평가한다.

실험 결과

연구 질문

• RQ1 SSL이 표준 벤치마크에서 정확도 손실 없이 컴팩트하고 구조화된 희소성 패턴을 학습할 수 있는가?
• RQ2 다양한 구조 그룹(필터, 채널, 모양, 깊이)이 실제 계산 축소에 어떻게 기여하는가?
• RQ3 오프-더-쉘 라이브러리로 CPU와 GPU에서 달성할 수 있는 실용적 속도향상은 어느 정도인가?
• RQ4 SSL을 기존 가속 기술(GEMM 기반 구현 등)과 결합하여 속도 향상을 극대화할 수 있는가?

주요 결과

• SSL은 AlexNet의 합성곱층에서 기본값 대비 CPU에서 평균 5.1×, GPU에서 3.1×의 속도향상을 달성합니다(오프-더-쉘프 라이브러리 사용).
• SSL은 ResNet 깊이를 20층에서 14층으로 줄이고 원래의 20층 ResNet보다 더 낮은 에러를 보이며, 18/32층 변형은 CIFAR-10에서 7.40%–7.51%의 에러를 달성합니다.
• CIFAR-10에서 SSL 정규화는 특정 구성에서 AlexNet의 에러를 약 1% 감소시키고 더 작고 빠른 모델을 가능하게 합니다.
• MNIST에서 SSL은 베이스라인과 유사한 에러를 유지하면서 필터와 채널을 크게 축소하는 컴팩트한 구조를 학습합니다(예: LeNet의 결과는 유사한 정확도에서 FLOP 감소가 뚜렷함).
• 2D-필터 단위 희소성은 AlexNet에서 정확도 손실 없이 FLOP를 30%–40% 감소시키고, 모양 단위 희소성도 유사한 감소를 달성하여 GEMM 기반 계산과의 효과적인 정렬을 보여줍니다.