[논문 리뷰] Automated Model Compression by Jointly Applied Pruning and Quantization

Wenting Tang, Xingxing Wei외 1명|arXiv (Cornell University)|2020. 11. 12.

Advanced Neural Network Applications참고 문헌 30인용 수 5

한 줄 요약

이 논문은 AJPQ를 제안하며, 계층적 강화 학습을 사용하여 층의 희소성과 채널별 비트폭을 동시에 결정함으로써, 통합된 혼합 정밀도 양자화 문제로써 절단과 양자화를 공동 최적화하는 자동 모델 압축 프레임워크이다. 절단을 0비트 양자화로 간주함으로써 AJPQ는 뛰어난 압축 효율성과 성능을 달성한다—모델 크기를 5배 이상 줄이고 FLOPs를 2배 줄이며 정확도 손실를 최소화한다—이로써 AMC+HAQ와 같은 순차적 접근 방식을 능가한다.

ABSTRACT

In the traditional deep compression framework, iteratively performing network pruning and quantization can reduce the model size and computation cost to meet the deployment requirements. However, such a step-wise application of pruning and quantization may lead to suboptimal solutions and unnecessary time consumption. In this paper, we tackle this issue by integrating network pruning and quantization as a unified joint compression problem and then use AutoML to automatically solve it. We find the pruning process can be regarded as the channel-wise quantization with 0 bit. Thus, the separate two-step pruning and quantization can be simplified as the one-step quantization with mixed precision. This unification not only simplifies the compression pipeline but also avoids the compression divergence. To implement this idea, we propose the automated model compression by jointly applied pruning and quantization (AJPQ). AJPQ is designed with a hierarchical architecture: the layer controller controls the layer sparsity, and the channel controller decides the bit-width for each kernel. Following the same importance criterion, the layer controller and the channel controller collaboratively decide the compression strategy. With the help of reinforcement learning, our one-step compression is automatically achieved. Compared with the state-of-the-art automated compression methods, our method obtains a better accuracy while reducing the storage considerably. For fixed precision quantization, AJPQ can reduce more than five times model size and two times computation with a slight performance increase for Skynet in remote sensing object detection. When mixed-precision is allowed, AJPQ can reduce five times model size with only 1.06% top-5 accuracy decline for MobileNet in the classification task.

연구 동기 및 목표

• 딥 네트워크 압축에서 순차적 절단과 양자화의 열악한 성능과 높은 시간 비용을 해결하기 위해.
• 절단을 0비트 채널별 양자화로 재해석함으로써 네트워크 절단과 양자화를 하나의 공동 최적화 문제로 통합하기 위해.
• 최소한의 인간 간섭으로 계층적 강화 학습을 사용하여 전역적으로 최적의 압축 전략 탐색을 가능하게 하기 위해.
• 단일 통합 파이프라인에서 층의 희소성과 채널 비트폭을 공동 최적화함으로써 압축 효율성 향상과 정확도 유지 향상을 위해.

제안 방법

• 0비트로 채널별 양자화로 절단을 재정의함으로써, 희소성과 비트폭을 하나의 혼합 정밀도 양자화 문제로 공동 최적화할 수 있도록 한다.
• 층 컨트롤러(연속 공간에서의 희소성 결정용)와 채널 컨트롤러(각 채널의 비트폭 선택용)를 갖춘 계층적 강화 학습 아키텍처를 설계한다.
• 층 컨트롤러의 최적 유지 비율을 도출하기 위해 Deep Deterministic Policy Gradient (DDPG)를 사용하여 훈련한다.
• 두 컨트롤러에 동일한 중요도 기준을 적용하여 층과 채널 간 일관되고 협력적인 압축 결정을 보장한다.
• 크기나 FLOP 제약을 위반하는 계획에 대해 벌점을 주고 성능 유지에 대해 보상함으로써 효율적인 탐색이 가능한 보상 함수를 구현한다.
• 이중 단계 탐색을 수행한다: 먼저 층 컨트롤러가 유지할 채널을 결정하고, 그 다음 채널 컨트롤러가 나머지 채널에 비트폭을 할당한다.

실험 결과

연구 질문

• RQ1 절단과 양자화는 효율적인 최적화 문제로 통합될 수 있는가? 이는 압축 효율성을 향상시키는가?
• RQ2 희소성과 비트폭 선택을 공동 최적화하면 순차적 방법보다 더 나은 모델 압축과 더 적은 정확도 저하를 달성할 수 있는가?
• RQ3 계층적 강화 학습은 층과 채널을 아우르는 대규모 혼합 정밀도 설정 탐색 공간을 효과적으로 탐색할 수 있는가?
• RQ4 제안된 보상 함수는 기존의 것들과 비교해 효율적이고 정확도 높은 압축 탐색을 이끄는 데 얼마나 효과적인가?
• RQ5 제안된 레이어 선택 전략('큰 레이어부터')은 기존 전략('깊은 레이어부터')보다 압축 효과성이 뛰어나다고 할 수 있는가?

주요 결과

• 스카이넷(Skynet)의 원격 감지 객체 탐지에서 AJPQ는 모델 크기를 5배 이상 줄이고 FLOPs를 2배 줄이며 상위 5개 정확도가 0.001% 향상되었다.
• 이미지 분류의 MobileNet에서 AJPQ는 혼합 정밀도 양자화 하에 모델 크기를 5배 줄였고 상위 5개 정확도는 1.06% 감소에 그쳤다.
• 스카이넷에서 AJPQ는 FLOPs를 0.744배 감소시키고 정확도를 0.001% 향상시켰으며, AMC+HAQ보다 두 지표에서 모두 뛰어난 성능을 보였다.
• 순차적 AMC+HAQ 파이프라인 대비 AJPQ의 계층적 프레임워크는 한 번의 압축으로 시간 소비를 거의 반으로 줄였다.
• AJPQ의 '큰 레이어부터' 레이어 선택 전략은 HAQ의 '깊은 레이어부터' 전략보다 상위 1개 정확도가 0.09 높고 크기 감소 비율이 0.004 더 크다.
• 제안된 보상 함수는 실현 불가능한 압축 계획을 효과적으로 걸러내고 탐색 노이즈를 줄여 AMC와 HAQ보다 더 빠른 수렴과 향상된 성능을 이끌었다.