[논문 리뷰] Compression of Deep Convolutional Neural Networks under Joint Sparsity Constraints

Yoojin Choi, Mostafa El‐Khamy외 1명|arXiv (Cornell University)|2018. 05. 21.

Advanced Neural Network Applications참고 문헌 35인용 수 5

한 줄 요약

이 논문은 딥 컨volution 신경망을 위한 유니버설 압축 프레임워크를 제안하며, 새로운 정규화 기법을 통해 공간 도메인과 윈오드롬 도메인에서의 동시 희박성(spatio-temporal sparsity)을 가능하게 한다. 필터를 정확도 손실 없이 어느 한 도메인에서도 희박하도록 최적화함으로써, AlexNet 및 CT-SRCNN와 같은 모델에서 최대 47.7배의 압축률과 23.5배의 복잡도 감소를 달성하며, 재학습 없이 다양한 하드웨어 플랫폼에 단일 모델을 배포할 수 있다.

ABSTRACT

We consider the optimization of deep convolutional neural networks (CNNs) such that they provide good performance while having reduced complexity if deployed on either conventional systems utilizing spatial-domain convolution or lower complexity systems designed for Winograd convolution. Furthermore, we explore the universal quantization and compression of these networks. In particular, the proposed framework produces one compressed model whose convolutional filters can be made sparse either in the spatial domain or in the Winograd domain. Hence, one compressed model can be deployed universally on any platform, without need for re-training on the deployed platform, and the sparsity of its convolutional filters can be exploited for further complexity reduction in either domain. To get a better compression ratio, the sparse model is compressed in the spatial domain which has a less number of parameters. From our experiments, we obtain $24.2 imes$, $47.7 imes$ and $35.4 imes$ compressed models for ResNet-18, AlexNet and CT-SRCNN, while their computational cost is also reduced by $4.5 imes$, $5.1 imes$ and $23.5 imes$, respectively.

연구 동기 및 목표

• 공간 도메인과 윈오드롬 도메인에서 모두 희박한 추론을 지원하는 유니버설 CNN 압축 프레임워크의 부족을 해결하기 위해.
• 다른 컨volution 계산 방법을 사용하는 플랫폼에 압축 모델을 배포할 때 재학습 또는 미세조정이 필요 없도록 하기 위해.
• 공간 도메인과 윈오드롬 도메인 양쪽에서 희박성과 성능을 유지하는 단일 압축 모델을 개발하기 위해.
• 모바일 폰과 같은 자원 제한된 장치에서 사전 훈련된 모델을 하드웨어에 구애받지 않고 배포할 수 있도록 하기 위해.
• 정확도를 유지하면서도 높은 압축 비율과 계산 복잡도 감소를 달성하기 위해.

제안 방법

• 훈련 중에 공간 도메인과 윈오드롬 도메인 양쪽에서 동시에 희박성을 유도하는 동시 희박성 정규화를 도입한다.
• 변환 $ W_{\text{win}} = G w G^T $ 를 사용하여 필터 가중치에 윈오드롬 도메인 정규화를 적용한다. 여기서 $ G $ 는 윈오드롬 변환 행렬이다.
• 원래 필터 공간에서의 희박성을 유도하기 위해 공간 도메인 정규화를 적용한다.
• 유니버설 양자화와 소스 코딩을 사용하여 추가로 희박한 모델을 압축하며, 양 도메인에서의 희박성이 유지되도록 보장한다.
• 크로네커 곱과 벡터화를 사용하여 동시 희박성 정규화의 기울기를 유도함으로써, 엔드 투 엔드 백프로파게이션을 가능하게 한다.
• 확률적 경사 하강법을 사용하여 모델을 최적화하며, 부분 도함수 근사 기법을 통해 비연속점에서도 기울기 업데이트를 정의한다.

실험 결과

연구 질문

• RQ1 정확도 저하 없이 공간 도메인과 윈오드롬 도메인 양쪽에서 희박한 단일 압축 CNN 모델을 만들 수 있는가?
• RQ2 다양한 추론 플랫폼에서 낮은 계산 복잡도를 유지하면서도 높은 압축 비율을 달성할 수 있는가?
• RQ3 유니버설 양자화와 소스 코딩이 압축 후에도 두 도메인에서의 동시 희박성을 유지할 수 있는가?
• RQ4 기존의 단일 도메인 프루닝과 비교할 때, 동시 희박성 정규화는 압축 비율과 정확도 측면에서 어떻게 다른가?
• RQ5 제안된 프레임워크는 주파수 도메인 컨볼루션과 같은 다른 희박 컨볼루션 방법으로 확장할 수 있는가?

주요 결과

• ResNet-18에 대해 24.2배의 압축 비율을 달성하였으며, MAC 연산 수가 4.5배 감소했고, 정확도 손실이 1% 이내를 유지하였다.
• AlexNet의 경우, 47.7배의 압축 비율과 5.1배의 계산 복잡도 감소를 달성하였으며, 정확도 저하가 최소한이었다.
• 9층의 CT-SRCNN 모델은 35.4배로 압축되었고, 희박한 윈오드롬 컨볼루션을 사용할 경우 MAC 연산이 23.5배 감소하였다.
• Set14 데이터셋에서 사전 훈련된 모델과 PSNR 차이가 0.4 dB 이내로 유지되었으며, SSIM 값은 0.822 이상이었다.
• 유니버설 양자화와 소스 코딩은 두 도메인 모두에서 희박성을 유지하며, 재학습 없이 어떤 플랫폼에도 단일 모델을 배포할 수 있도록 했다.
• 동시 희박성 정규화를 통해 두 도메인에서 효과적인 프루닝이 가능했으며, 백프로파게이션을 위한 기울기는 크로네커 곱 항등식을 통해 계산되었다.