[논문 리뷰] Towards Compact ConvNets via Structure-Sparsity Regularized Filter Pruning

Shaohui Lin, Rongrong Ji외 3명|arXiv (Cornell University)|2019. 01. 23.

Advanced Neural Network Applications인용 수 11

한 줄 요약

이 논문은 ℓ₂,₁- 및 ℓ₂,₀-노름 정규화를 사용하여 필터 중요도와 구조적 희박성을 동시에 최적화하는 구조적 희박성 정규화(SSF) 필터 프루닝 방법을 제안한다. 이는 보조 변수를 사용한 교대 최적화(AULM) 솔버를 통해 효율적이고 구조적인 프루닝을 가능하게 하며, VGG-16에서 최대 2.5배 빠른 최적화와 15.4배 낮은 메모리 사용량을 달성하면서도 최신 기준 정확도를 확보한다. 또한 객체 검출 및 도메인 적응과 같은 전이 학습 작업에서도 높은 성능을 유지한다.

ABSTRACT

The success of convolutional neural networks (CNNs) in computer vision applications has been accompanied by a significant increase of computation and memory costs, which prohibits its usage on resource-limited environments such as mobile or embedded devices. To this end, the research of CNN compression has recently become emerging. In this paper, we propose a novel filter pruning scheme, termed structured sparsity regularization (SSR), to simultaneously speedup the computation and reduce the memory overhead of CNNs, which can be well supported by various off-the-shelf deep learning libraries. Concretely, the proposed scheme incorporates two different regularizers of structured sparsity into the original objective function of filter pruning, which fully coordinates the global outputs and local pruning operations to adaptively prune filters. We further propose an Alternative Updating with Lagrange Multipliers (AULM) scheme to efficiently solve its optimization. AULM follows the principle of ADMM and alternates between promoting the structured sparsity of CNNs and optimizing the recognition loss, which leads to a very efficient solver (2.5x to the most recent work that directly solves the group sparsity-based regularization). Moreover, by imposing the structured sparsity, the online inference is extremely memory-light, since the number of filters and the output feature maps are simultaneously reduced. The proposed scheme has been deployed to a variety of state-of-the-art CNN structures including LeNet, AlexNet, VGG, ResNet and GoogLeNet over different datasets. Quantitative results demonstrate that the proposed scheme achieves superior performance over the state-of-the-art methods. We further demonstrate the proposed compression scheme for the task of transfer learning, including domain adaptation and object detection, which also show exciting performance gains over the state-of-the-arts.

연구 동기 및 목표

• 자원이 제한된 환경에서 비구조적 희박성 CNN의 비효율성과 하드웨어 호환성 문제를 해결하기 위해.
• 정확도를 유지하면서 FLOPs, 메모리, 파라미터 수를 동시에 감소시킬 수 있는 필터 프루닝 방법을 개발하기 위해.
• 표준 딥러닝 라이브러리와 호환되는 구조적 희박성 정규화를 통해 효율적이고 구조적인 프루닝을 가능하게 하기 위해.
• 프루닝된 모델을 활용해 도메인 적응 및 객체 검출과 같은 전이 학습 작업에서 성능을 향상시키기 위해.
• 전체 출력과 국소적 필터 프루닝 작업을 조율하여 중요 필터를 적응적으로 선택하는 최적화 프레임워크를 설계하기 위해.

제안 방법

• ℓ₂,₁- 및 ℓ₂,₀-노름 정규화를 조합한 새로운 구조적 희박성 정규화(SSF) 프레임워크를 도입하여 구조적 필터 프루닝을 촉진한다.
• ADMM를 영감으로 삼아, 구조적 희박성 강제와 인식 손실 최소화를 번갈아 수행하는 보조 변수를 사용한 교대 최적화(AULM) 솔버를 활용한다.
• BLAS 라이브러리를 통해 가속화 가능한 텐서 기반 컨볼루션 연산을 사용하여 표준 하드웨어에서 효율적인 추론을 가능하게 한다.
• AULM 솔버를 반복적으로 적용하여 중요하지 않은 필터를 프루닝하고, 해당 필터에 대응하는 출력 특징 맵을 제거하며, 이후 레이어의 필터 채널을 업데이트한다.
• 두 단계 프로세스를 구현한다: (1) AULM을 통한 적응적 필터 선택, (2) 프루닝 후 네트워크 피니팅을 통한 정확도 복구.
• LeNet, AlexNet, VGG, ResNet, GoogLeNet 등 다양한 아키텍처와 ImageNet, CUB-200, PASCAL VOC 등의 데이터셋에서의 배포를 지원한다.

실험 결과

연구 질문

• RQ1 구조적 희박성 정규화가 정확도를 훼손하지 않으면서도 FLOPs와 메모리 사용량을 효과적으로 줄일 수 있는가?
• RQ2 그룹 희박성 기반 프루닝을 위한 기존 최적화 방법과 비교해 AULM 솔버는 효율성과 정확도 면에서 어떻게 성능을 내는가?
• RQ3 제안된 SSR 방법이 도메인 적응 및 객체 검출과 같은 전이 학습 시나리오에서 높은 성능을 유지할 수 있는가?
• RQ4 전체 출력 최적화와 국소적 필터 프루닝을 동시에 최적화하는 것이 독립적 필터 선택보다 더 우수한 일반화 성능을 낼 수 있는가?
• RQ5 구조적 프루닝이 표준 딥러닝 라이브러리와 호환되면서도 모델 크기와 추론 시간을 얼마나 줄일 수 있는가?

주요 결과

• SSR-L2,1-GAP 방법은 CUB-200에서 오직 880만 파라미터와 44억 FLOPs로 29.55%의 Top-1 오차를 기록하며, VGG-16 대비 15.4배 낮은 메모리 비용과 3.5배 이론적 속도 향상을 달성한다.
• PASCAL VOC 2007에서 SSR-L2,1 모델은 Titan X GPU에서 2.45배의 추론 속도 향상을 기록했으며, mAP는 0.3% 감소에 그쳐 랜덤, L1, APoZ 프루닝 방법보다 뛰어난 성능을 보였다.
• 최근 그룹 희박성 정규화를 직접 해결하는 방법보다 AULM 솔버가 2.5배 더 빠른 최적화를 제공하여 효율적인 최적화를 가능하게 한다.
• 프루닝된 모델은 전이 학습에서 강력한 성능을 유지하며, SSR-L2,1-GAP는 CUB-200에서 피니팅 시 오차 증가율이 가장 낮은 1.95%를 기록했다.
• 다양한 아키텍처와 데이터셋에서 최신 기준 필터 프루닝 방법보다 뛰어난 정확도를 달성했다.
• 구조적 희박성 접근법은 필터 수와 출력 특징 맵 수를 동시에 줄여 메모리 경량 추론을 가능하게 한다.