[논문 리뷰] Training Deep Neural Networks with Joint Quantization and Pruning of Weights and Activations

Xinyu Zhang, Ian Colbert외 2명|arXiv (Cornell University)|2021. 10. 15.

Advanced Neural Network Applications참고 문헌 53인용 수 7

한 줄 요약

이 논문은 훈련 중에 깊이 신경망의 가중치와 활성화 모두에 대해 통합된 프레임워크를 제안한다. 지연 양자화와 포화 양자화를 도입하고, 비구조적 프루닝을 활성화로 확장함으로써, 프루닝과 양자화의 순서가 성능에 상당한 영향을 미친다는 것을 입증한다. 이는 최적의 훈련 스케줄이 분류 및 생성 작업 간에 다를 수 있다는 비가환성 가설을 제기하며, 기존 최고 수준의 방법들에 비해 메모리 사용량 대비 성능이 뛰어나다.

ABSTRACT

Quantization and pruning are core techniques used to reduce the inference costs of deep neural networks. State-of-the-art quantization techniques are currently applied to both the weights and activations; however, pruning is most often applied to only the weights of the network. In this work, we jointly apply novel uniform quantization and unstructured pruning methods to both the weights and activations of deep neural networks during training. Using our methods, we empirically evaluate the currently accepted prune-then-quantize paradigm across a wide range of computer vision tasks and observe a non-commutative nature when applied to both the weights and activations of deep neural networks. Informed by these observations, we articulate the non-commutativity hypothesis: for a given deep neural network being trained for a specific task, there exists an exact training schedule in which quantization and pruning can be introduced to optimize network performance. We identify that this optimal ordering not only exists, but also varies across discriminative and generative tasks. Using the optimal training schedule within our training framework, we demonstrate increased performance per memory footprint over existing solutions.

연구 동기 및 목표

• 깊이 신경망에서 가중치와 활성화 양쪽 모두에 대한 양자화와 프루닝의 통합 최적화에 대한 격차를 해결하기 위해.
• 프루닝과 양자화의 적용 순서가 모델 성능에 영향을 미치는지 검토하여, 일반적으로 사용되는 '프루닝-그리고-양자화' 패러다임에 도전하기 위해.
• 분류 및 생성 컴퓨터 비전 작업 양쪽에 걸쳐 프레임워크를 평가함으로써, 이는 이전 연구에서 드문 일이다.
• 훈련 안정성 향상과 초기화 민감도 감소를 위해 새로운 양자화 기법—지연 양자화와 포화 양자화—를 개발하기 위해.
• 비구조적 프루닝을 활성화 공간으로 확장하고 그 영향을 실증적으로 평가함으로써, 저자들에 따르면 이는 종합적인 연구로 처음이다.

제안 방법

• 백프로파게이션 동안 가중치와 활성화 양쪽에 대해 균일한 양자화와 비구조적 프루닝을 적용하는 새로운 훈련 프레임워크를 제안한다.
• 지연 양자화를 도입한다—직선통과 추정기(ste)의 사용을 후기 훈련 에포크로 연기함으로써 가중치 초기화 민감도를 감소시킨다.
• 포화 양자화를 도입한다—훈련 중에 분位수를 사용해 활성화 분포를 클리핑함으로써 긴 尾도 분포와 이방성 영향을 완화한다.
• Zhu와 Gupta(2017)의 비구조적 가중치 프루닝 방법을 활성화 공간으로 확장하여 개별 활성화 값의 프루닝을 가능하게 한다.
• 프루닝-그리고-양자화와 양자화-그리고-프루닝 순서를 모두 평가할 수 있는 융통성 있는 훈련 스케줄을 사용한다.
• 가중치와 활성화 양쪽에 대해 목표 비트폭과 희박도를 직접 제어할 수 있는 통합 프레임워크를 활용하여, 하드웨어 제약 조건 하에서 정밀한 압축을 가능하게 한다.

실험 결과

연구 질문

• RQ1 가중치와 활성화 양쪽에 프루닝과 양자화를 적용할 때, 그 적용 순서가 깊이 신경망의 성능에 영향을 미치는가?
• RQ2 기존에 가중치만 프루닝하는 방법에 비해, 활성화의 통합 양자화 및 프루닝은 어떻게 다른가?
• RQ3 DNN에서 가중치와 활성화 양쪽에 프루닝과 양자화를 적용할 때, 이 둘 사이에 비가환성 관계가 존재하는가?
• RQ4 분류 작업과 생성 작업 간에 최적의 훈련 스케줄(프루닝-그리고-양자화 대비 양자화-그리고-프루닝)이 다를까?
• RQ5 제안된 프레임워크는 기존 최고 수준의 압축 기법들에 비해 더 나은 메모리 사용량 대비 성능을 달성할 수 있는가?

주요 결과

• 가중치와 활성화 양쪽에 대한 통합된 양자화와 프루닝에 대해 최적의 훈련 스케줄은 가환적이지 않다. 성능은 프루닝과 양자화의 적용 순서에 따라 달라진다.
• CIFAR10에서 이미지 분류와 같은 분류 작업에서는 '프루닝-그리고-양자화' 스케줄이 메모리 사용량 대비 성능이 뛰어나다.
• GAN을 사용한 이미지-이미지 번역과 같은 생성 작업에서는 '양자화-그리고-프루닝' 스케줄이 표준 패러다임을 초월하여 성능이 뛰어나다.
• CIFAR10에서 제안된 프레임워크는 기존 방법들 중에서 가장 높은 성능 밀도(PD)를 달성하며, 가장 작은 메모리 사용량과 가장 높은 압축 제약 조건 하에서 정확도가 뛰어나다.
• 포화 양자화가 긴 꼬리 분포를 가진 활성화의 영향을 효과적으로 줄여 GAN에서의 훈련 안정성을 향상시킨다.
• 비구조적 프루닝을 활성화 공간으로 확장하면, 특히 자원 제약이 있는 추론 환경에서 성능 밀도가 크게 향상된다.