[논문 리뷰] Structured Pruning of Deep Convolutional Neural Networks

Sajid Anwar, Kyuyeon Hwang외 1명|arXiv (Cornell University)|2015. 12. 29.

Advanced Neural Network Applications참고 문헌 12인용 수 40

한 줄 요약

이 논문은 깊이 합성곱 신경망에 대한 구조적 프루닝 방법을 제안하며, 채널, 커널, 인트라-커널 스트라이드 수준에서 희소성을 강제하여 임베디드 및 병렬 시스템에서 효율적인 계산을 가능하게 한다. 연결 중요도 평가에 입자 필터링을 사용하고 재학습을 통해 정확도를 복구함으로써, 모델 크기와 메모리 액세스를 줄이며, 정확도 손실 최소화로 인해 칩 내 배치가 가능한 고정점 양자화를 가능하게 한다.

ABSTRACT

Real time application of deep learning algorithms is often hindered by high computational complexity and frequent memory accesses. Network pruning is a promising technique to solve this problem. However, pruning usually results in irregular network connections that not only demand extra representation efforts but also do not fit well on parallel computation. We introduce structured sparsity at various scales for convolutional neural networks, which are channel wise, kernel wise and intra kernel strided sparsity. This structured sparsity is very advantageous for direct computational resource savings on embedded computers, parallel computing environments and hardware based systems. To decide the importance of network connections and paths, the proposed method uses a particle filtering approach. The importance weight of each particle is assigned by computing the misclassification rate with corresponding connectivity pattern. The pruned network is re-trained to compensate for the losses due to pruning. While implementing convolutions as matrix products, we particularly show that intra kernel strided sparsity with a simple constraint can significantly reduce the size of kernel and feature map matrices. The pruned network is finally fixed point optimized with reduced word length precision. This results in significant reduction in the total storage size providing advantages for on-chip memory based implementations of deep neural networks.

연구 동기 및 목표

• 실시간 임베디드 응용 프로그램에서 딥 러닝의 높은 계산 및 메모리 요구량을 해결하기 위해.
• 하드웨어 가속화에 적합하지 않은 비정규적 연결성을 유도하는 비구조적 프루닝의 한계를 극복하기 위해.
• 병렬 및 임베디드 아키텍처에서 직접적인 계산 절감을 가능하게 하는 구조적 희소성 프레임워크를 개발하기 위해.
• 정확도 저하를 완화하기 위해 연결 중요도 추정을 위한 입자 필터링과 재학습을 통합하기 위해.
• 구조적 희소성을 활용하여 단어 길이를 줄인 고정점 최적화를 가능하게 하여 칩 내 메모리 효율성을 높이기 위해.

제안 방법

• 채널 수준, 커널 수준, 인트라-커널 스트라이드 수준에서 세 가지 수준의 구조적 희소성을 도입하여 하드웨어 효율성을 위한 규칙적인 구조를 유지한다.
• 각 입자가 연결 패턴을 나타내는 입자 필터링 접근법을 사용하며, 해당 패턴 하에서의 오분류율을 기반으로 중요도를 결정한다.
• 분류 성능에 기반하여 입자에 중요도 가중치를 할당함으로써 가장 중요한 연결을 선별한다.
• 입자 중요도에 따라 연결을 프루닝하여 가장 중요한 필터와 특징 맵 요소만 유지한다.
• 프루닝 후 재학습을 통해 프루닝 과정에서 발생한 정확도 손실을 복구함으로써 원본 모델과 성능이 동일한 수준을 확보한다.
• 프루닝 이후 단어 길이를 줄인 고정점 양자화를 적용하며, 구조적 희소성을 활용하여 정밀도 손실를 최소화한다.

실험 결과

연구 질문

• RQ1 채널, 커널, 인트라-커널 수준에서의 구조적 희소성이 정확도 손실 없이 계산 효율성을 향상시킬 수 있는가?
• RQ2 입자 필터링이 프루닝 과정 중 네트워크 연결의 중요도를 효과적으로 추정하는 데 어떻게 활용될 수 있는가?
• RQ3 구조적 프루닝을 통해 칩 내 배치를 위한 효율적인 고정점 양자화를 어느 정도까지 가능하게 할 수 있는가?
• RQ4 메모리 액세스와 하드웨어 호환성 측면에서 구조적 프루닝은 비구조적 프루닝보다 어떻게 다를 수 있는가?
• RQ5 재학습을 통한 구조적 프루닝을 적용할 때 모델 압축과 정확도 손실 사이의 상호 교환 관계는 어떠한가?

주요 결과

• 제안된 구조적 프루닝 방법은 재학습 후에도 최소한의 성능 저하로 심각한 모델 압축을 달성하면서 높은 정확도를 유지한다.
• 인트라-커널 스트라이드 희소성과 단순한 제약 조건의 조합이 커널 및 특징 맵 행렬 크기를 상당히 줄이는 데 기여한다.
• 프루닝된 네트워크는 단어 길이를 줄인 고정점 양자화에 적합하여 칩 내 메모리 요구량을 크게 감소시킨다.
• 규칙적이고 구조적인 희소성 패턴 덕분에 병렬 및 임베디드 시스템에서 효율적인 계산이 가능하다.
• 입자 필터링 기반 중요도 추정은 핵심 연결을 효과적으로 식별하여 고정밀도, 소형 모델을 도출한다.
• 이 방법은 강력한 하드웨어 호환성을 보이며, 자원 제약이 있는 장치에 배치하기에 적합하다.