[논문 리뷰] SQuantizer: Simultaneous Learning for Both Sparse and Low-precision Neural Networks

Mi Sun Park, Xiaofan Xu외 1명|arXiv (Cornell University)|2018. 12. 20.

Advanced Neural Network Applications참고 문헌 42인용 수 9

한 줄 요약

SQuantizer는 깊이 신경망에서 가중치와 활성화의 희소성과 저정밀도 양자화(4비트 및 2비트)를 동시에 최적화하는 공동 학습 방법을 제안한다. 이로 인해 18× 압축률(ResNet18 기준)과 17× 압축률(ResNet50 기준)을 달성하면서도 정확도 저하가 1% 미만이 되며, 최신 기술 수준의 정확도를 확보한다. 이 방법은 단일 패assing 학습을 가능하게 하며, 희소성에 적합한 하드웨어에서 추론 속도를 가속화하고, YOLO-v3 기반 객체 검출에 일반화되어 29× 압축률과 50.3 mAP 성능을 달성한다.

ABSTRACT

Deep neural networks have achieved state-of-the-art accuracies in a wide range of computer vision, speech recognition, and machine translation tasks. However the limits of memory bandwidth and computational power constrain the range of devices capable of deploying these modern networks. To address this problem, we propose SQuantizer, a new training method that jointly optimizes for both sparse and low-precision neural networks while maintaining high accuracy and providing a high compression rate. This approach brings sparsification and low-bit quantization into a single training pass, employing these techniques in an order demonstrated to be optimal. Our method achieves state-of-the-art accuracies using 4-bit and 2-bit precision for ResNet18, MobileNet-v2 and ResNet50, even with high degree of sparsity. The compression rates of 18x for ResNet18 and 17x for ResNet50, and 9x for MobileNet-v2 are obtained when SQuantizing both weights and activations within 1% and 2% loss in accuracy for ResNets and MobileNet-v2 respectively. An extension of these techniques to object detection also demonstrates high accuracy on YOLO-v3. Additionally, our method allows for fast single pass training, which is important for rapid prototyping and neural architecture search techniques. Finally extensive results from this simultaneous training approach allows us to draw some useful insights into the relative merits of sparsity and quantization.

연구 동기 및 목표

• 자원이 제한된 엣지 디바이스의 메모리와 계산 능력에 제한된 환경에서 고정확도의 깊이 신경망을 구현하는 데 도전하는 것.
• 순차적 프루닝과 양자화의 한계를 극복하여, 두 단계 학습이 필요하고 저정밀도 양자화와 희소성을 병합할 경우 정확도가 떨어지는 문제를 해결하는 것.
• 가중치와 활성화의 희소성 및 저정밀도 양자화를 동시에 최적화하는 단일 효율적인 학습 절차를 개발하는 것.
• 다양한 아키텍처인 ResNet18, ResNet50, MobileNet-v2 및 YOLO-v3에서 최신 기술 수준의 정확도를 유지하면서 모델 압축과 추론 효율성을 극대화하는 것.
• 희소성과 양자화의 상대적 효과성과 공동 최적화에서의 최적 순서에 대한 통찰을 제공하는 것.

제안 방법

• SQuantizer는 단일 학습 패assing 동안 가중치와 활성화의 희소화 및 저정밀도 양자화(4비트 및 2비트)를 적용하며, 희소하고 양자화된 텐서를 통해 역전파를 가능하게 하는 미분 가능한 SQuantization 연산을 사용한다.
• 학습 가능한 임계값과 직행 추정기(straight-through estimator)를 사용한 미분 가능한 희소화 메커니즘을 도입하여 역전파 동안 기울기 흐름을 허용한다.
• 초기 수렴 단계에서 훈련을 안정화시키기 위해 지연 학습 스케줄(Delay = 20 epochs)을 적용한다.
• 희소성과 저정밀도 양자화를 공동으로 최적화하며, 희소화를 양자화 이전에 적용하는 순서가 성능 향상에 최적임을 입증하였다.
• 전방전파 시 각 레이어에서 가중치와 활성화에 모두 SQuantization을 적용하지만, 역전파를 통해 전체 정밀도의 가중치만 업데이트한다.
• YOLO-v3와 Darknet-53를 적용하여 객체 검출에 확장함으로써, 고정밀도 mAP를 유지하면서도 높은 압축률을 달성하였다.

실험 결과

연구 질문

• RQ1 최대 압축률과 정확도를 확보하기 위해 공동 학습에서 희소화와 양자화를 적용하는 최적의 순서는 무엇인가?
• RQ2 희소성과 저정밀도 양자화를 동시에 학습하는 것이 두 단계 순차적 학습에 비해 모델 압축률과 정확도 측면에서 뛰어나게 되는가?
• RQ3 가중치와 활성화를 모두 공동 최적화할 경우, 엣지 하드웨어에서 최종 모델 크기, 추론 속도, 에너지 효율성에 어떤 영향을 미치는가?
• RQ4 SQuantizer는 다양한 아키텍처에서 높은 희소성 수준과 함께 4비트 및 2비트 양자화를 적용해도 최신 기술 수준의 정확도를 얼마나 유지할 수 있는가?
• RQ5 공동 SQuantization 접근법은 이미지 분류를 넘어서 객체 검출 작업으로 효과적으로 일반화될 수 있는가?

주요 결과

• 4비트 가중치와 41% 희소성 조건에서 SQuantizer는 ResNet18에 대해 18× 압축률을 달성하고 정확도 저하가 1% 미만이다.
• MobileNet-v2에서는 4비트 가중치와 32비트 활성화 조건에서 9× 압축률을 달성하며 정확도 저하가 2%에 불과하다.
• 2비트 가중치와 55% 희소성 조건에서 SQuantizer는 YOLO-v3에 대해 29× 압축률을 달성하면서 COCO에서 50.3 mAP 성능을 유지하며, 베이스라인 대비 2.5% 정확도 저하를 보였다.
• 55% 희소성 4비트 ResNet50를 사용할 경우, 연산량(FLOPs)이 기준 대비 75% 감소(17.6%로 감소)하여 희소성에 적합한 하드웨어에서 뚜렷한 계산 절감 효과를 보였다.
• 하드웨어 프로토타이핑 결과, 50% 희소성 조건에서 ResNet50의 각 레이어에서 약 2배의 속도 향상이 관찰되어 추론 효율성이 향상됨을 입증하였다.
• 공동 최적화는 모델이 온칩 메모리에 맞출 수 있도록 하여 외부 DRAM 액세스를 최소화함으로써 에너지 소비를 감소시켰다.