[논문 리뷰] SS-Auto: A Single-Shot, Automatic Structured Weight Pruning Framework of DNNs with Ultra-High Efficiency

Zhengang Li, Yifan Gong외 7명|arXiv (Cornell University)|2020. 01. 23.

Advanced Neural Network Applications참고 문헌 27인용 수 14

한 줄 요약

SS-Auto는 DNN에 대한 단일 스텝, 자동 구조적 프루닝 프레임워크로, 소프트 제약 기반 ADMM 설정과 원자-근접 해법을 사용하여 행과 열 프루닝을 동시에 최적화하여, 최소한의 정확도 손실과 함께 모바일 디바이스에서 높은 인퍼런스 속도 향상을 이룬 초고압축 비율(예: VGG-16에서 최대 41.1×)을 달성한다.

ABSTRACT

Structured weight pruning is a representative model compression technique of DNNs for hardware efficiency and inference accelerations. Previous works in this area leave great space for improvement since sparse structures with combinations of different structured pruning schemes are not exploited fully and efficiently. To mitigate the limitations, we propose SS-Auto, a single-shot, automatic structured pruning framework that can achieve row pruning and column pruning simultaneously. We adopt soft constraint-based formulation to alleviate the strong non-convexity of l0-norm constraints used in state-of-the-art ADMM-based methods for faster convergence and fewer hyperparameters. Instead of solving the problem directly, a Primal-Proximal solution is proposed to avoid the pitfall of penalizing all weights equally, thereby enhancing the accuracy. Extensive experiments on CIFAR-10 and CIFAR-100 datasets demonstrate that the proposed framework can achieve ultra-high pruning rates while maintaining accuracy. Furthermore, significant inference speedup has been observed from the proposed framework through actual measurements on the smartphone.

연구 동기 및 목표

• 강한 비볼록성과 과도한 초파rameter에 의존하는 기존 ADMM 기반의 구조적 프루닝 방법의 한계를 해결한다.
• 더 풍부한 희소 구조를 탐색하고 압축 효율을 향상시키기 위해 동시에 행과 열 프루닝을 가능하게 한다.
• 수동적인 초파rameter 조정과 최적화되지 않은 설정을 방지하기 위해 각 레이어의 프루닝 비율을 자동으로 결정한다.
• 원자-근접 접근을 통해 경사 하강법과 정규화를 분리하여 프루닝 중 모델 정확도를 향상시킨다.
• 최소한의 정확도 저하와 측정 가능한 인퍼런스 속도 향상을 통해 초고압축을 달성한다.

제안 방법

• ADMM에서 강한 비볼록성과 관련된 ℓ₀-노름 경직된 제약 조건을 소프트 제약 조건 기반 설정으로 대체하여 수렴 시간과 초파rameter 민감도를 감소시킨다.
• 경사 하강법과 정규화를 분리하는 원자-근접 해법을 도입하여 중요도가 낮은 가중치에 대해 점진적인 페널티 감소를 가능하게 한다.
• 단일 최적화 프로세스 내에서 동시에 행 방향 및 열 방향 희소성 최적화를 수행하여 필터와 필터 채널을 함께 프루닝할 수 있도록 한다.
• 최적화 과정을 통해 각 레이어의 프루닝 비율을 자동으로 유도하여 수동 조정을 제거한다.
• 컴파일러 기반의 모바일 DNN 가속 프레임워크를 활용하여 스마트폰에서 실제 인퍼런스 속도 향상을 측정한다.
• 근접 업데이트를 사용한 ADMM 기반 최적화를 통해 정확도를 유지하면서도 효율적으로 구조적 프루닝 문제를 해결한다.

실험 결과

연구 질문

• RQ1 단일 스텝, 자동 구조적 프루닝 프레임워크가 동시에 행과 열 프루닝을 최적화하여 기존 방법보다 더 높은 압축률을 달성할 수 있는가?
• RQ2 ADMM에서 경직된 ℓ₀-노름 제약 조건을 소프트 제약 조건으로 대체하면 수렴 속도 향상과 초파라미터 민감도 감소에 기여하는가?
• RQ3 원자-근접 해법이 프루닝 중 페널티 가중치를 동적으로 조정함으로써 모델 정확도 향상에 기여하는가?
• RQ4 자동으로 각 레이어의 프루닝 비율을 결정하는 방식이 수동 또는 반복적인 초파라미터 검색 방식을 얼마나 뛰어나게 하는가?
• RQ5 제안된 프레임워크를 사용하여 실질적으로 모바일 디바이스에서 어느 정도의 인퍼런스 속도 향상을 달성할 수 있는가?

주요 결과

• SS-Auto는 CIFAR-10에서 정확도 손실이 0.1%에 불과한 상태에서 VGG-16에 대해 41.1×의 초고압축 비율을 달성하여 이전 방법들을 능가한다.
• ResNet-18에서 SS-Auto는 24.6×의 압축 비율을 달성하며 정확도 94.2%를 확보하여 AutoCompress(18.5×)와 ADMM(15.1×)를 초월한다.
• MobileNet-V2에서는 정확도 손실 없이 7.5×의 압축 비율을 달성하여 다양한 아키텍처에 걸쳐 강력한 일반화 능력을 보였다.
• CIFAR-10에서 ResNet-18에 대해 CPU 기준 3.28ms, GPU 기준 3.39ms로 인퍼런스 시간을 단축하여 모바일 플랫폼에서 뚜렷한 속도 향상을 보였다.
• 원자-근접 해법은 적응형 페널티 스케줄링을 통해 중요한 가중치를 유지함으로써 더 정확한 프루닝을 가능하게 하였다.
• 모바일 디바이스에서 측정된 인퍼런스 속도 향상 결과는 프루닝된 모델의 하드웨어 효율성을 확인하였으며, 특히 고압축 비율에서 두드러진 성능 향상을 보였다.