[논문 리뷰] Toward Extremely Low Bit and Lossless Accuracy in DNNs with Progressive ADMM

Sheng Lin, Xiaolong Ma외 4명|arXiv (Cornell University)|2019. 05. 02.

Advanced Neural Network Applications참고 문헌 15인용 수 14

한 줄 요약

이 논문은 DNN의 극도로 낮은 비트 및 손실 없는 가중치 양자화를 위한 점진적 ADMM 기반 프레임워크를 제안한다. 동적 정규화와 다중-$\rho$ 업데이트를 활용하여 해의 타당성과 수렴 성능을 보장한다. MNIST에서 첫 번째 완전 이진화 손실 없는 LeNet-5(99.21% 정확도), CIFAR-10에서 완전 이진화 VGG-16(93.58%), ImageNet에서 완전 이진화 ResNet-18(Top-5 정확도 손실 5.8%)를 달성하여 DNN 압축 분야에서 완전 이진화의 새로운 기준을 설정한다.

ABSTRACT

Weight quantization is one of the most important techniques of Deep Neural Networks (DNNs) model compression method. A recent work using systematic framework of DNN weight quantization with the advanced optimization algorithm ADMM (Alternating Direction Methods of Multipliers) achieves one of state-of-art results in weight quantization. In this work, we first extend such ADMM-based framework to guarantee solution feasibility and we have further developed a multi-step, progressive DNN weight quantization framework, with dual benefits of (i) achieving further weight quantization thanks to the special property of ADMM regularization, and (ii) reducing the search space within each step. Extensive experimental results demonstrate the superior performance compared with prior work. Some highlights: we derive the first lossless and fully binarized (for all layers) LeNet-5 for MNIST; And we derive the first fully binarized (for all layers) VGG-16 for CIFAR-10 and ResNet for ImageNet with reasonable accuracy loss.

연구 동기 및 목표

• 기존 ADMM 기반 DNN 가중치 양자화 방법에서의 해의 타당성 보장 부족과 최적해 품질이 열악한 문제를 해결하기 위해.
• 문제를 다중 점진적 단계로 분해하여 가중치 양자화의 탐색 공간을 줄이기 위해.
• 특히 VGG-16 및 ResNet과 같은 복잡한 모델에 대해 정확도 저하를 최소화하면서 모든 레이어가 이진화된 완전 이진화 DNN를 가능하게 하기 위해.
• 극도의 압축을 달성하면서도 높은 모델 정확도를 유지하는 스케일러블하고 체계적인 프레임워크를 개발하기 위해.

제안 방법

• 해의 타당성을 보장하기 위해 동적 ADMM 정규화와 양자화된 가중치 프로젝션을 통합한 ADMM 기반 DNN 양자화 프레임워크를 확장한다.
• 각 단계에서 탐색 공간을 줄이고 수렴 성능을 향상시키기 위해 중간 결과를 재사용하는 점진적 양자화 전략을 적용한다.
• ADMM에서 다중-$\rho$ 업데이트를 활용하여 적응적인 벌점 매개변수 조정을 통해 수렴 속도를 가속화하고 해의 품질을 향상시킨다.
• ADMM 보조 문제를 반복적으로 해결한다: (1) 가중치에 대한 확률적 경사 하강법, (2) 양자화 수준에 대한 해석적 유클리드 프로젝션, (3) 이중 변수 업데이트.
• 정규화된 최적화 문제를 적용한다: $\min f(\{\mathbf{W}_i\}) + \sum_i \frac{\rho_i}{2} \|\mathbf{W}_i - \mathbf{Q}_i + \mathbf{U}_i\|_F^2$, 이는 모델 정확도와 양자화 정밀도 사이의 균형을 맞춘다.
• 기존에 훈련된 정밀도가 높은 DNN에서 시작하여, 이전 단계의 양자화 결과를 초기화로 사용하면서 점진적으로 레이어를 양자화한다.

실험 결과

연구 질문

• RQ1 손실 함수의 비볼록성에도 불구하고 ADMM 기반 DNN 양자화가 타당성과 안정성을 확보할 수 있는가?
• RQ2 한 번에 처리하는 방법과 비교해 점진적 다중 단계 프레임워크가 탐색 공간을 줄이고 양자화 품질을 향상시킬 수 있는가?
• RQ3 ImageNet과 같은 도전적인 벤치마크에서 완전 이진화 DNN(모든 레이어)를 근손실 정확도로 달성할 수 있는가?
• RQ4 기존 최고 성능 기준 대비, 제안된 방법이 완전 양자화 모델의 정확도와 비트 폭 감소 측면에서 어떻게 우월한가?

주요 결과

• 제안된 방법은 MNIST에서 99.21% Top-1 정확도를 기록한 첫 번째 완전 이진화 손실 없는 LeNet-5를 달성하였으며, 이는 이전 연구에서 보고한 2.3% 정확도 손실보다 뛰어나다.
• CIFAR-10에서 완전 이진화 VGG-16는 93.58% Top-1 정확도를 달성하여 이전 완전 이진화 방법의 81.56%를 뛰어넘고, 삼진 양자화(94.02% 정확도)에 가까워졌다.
• ImageNet에서 ResNet-18의 경우 완전 이진화에서도 Top-5 정확도 손실이 5.8%에 그쳐, 대규모 모델에 있어서의 타당성을 입증하였다.
• 첫 번째 및 마지막 레이어만 8비트로 유지할 경우, Top-5 정확도 손실이 2.5%에 그쳐 기존의 단일 스텝 ADMM(2.9% 손실)를 초월하였다.
• 점진적 프레임워크는 MNIST, CIFAR-10, ImageNet 벤치마크 전반에서 일관되게 양자화 품질과 수렴 속도를 향상시켰다.
• 이 방법은 정확도 손실이 합리적인 수준에서 첫 번째로 알려진 ImageNet용 완전 이진화 ResNet-18을 가능하게 하여 극도의 모델 압축 분야에서 새로운 기준을 설정하였다.