[논문 리뷰] Mixed Precision DNNs: All you need is a good parametrization

Stefan Uhlich, Lukas Mauch외 6명|arXiv (Cornell University)|2019. 05. 27.

Advanced Neural Network Applications참고 문헌 22인용 수 51

한 줄 요약

논문은 quantizer를 스텝 크기와 다이나믹 레인지로 매개변수화하면 추정된 비트폭이 나오고, 이는 안정적인 학습과 최첨단 혼합 정밀도 DNN의 학습을 가능하게 한다.

ABSTRACT

Efficient deep neural network (DNN) inference on mobile or embedded devices typically involves quantization of the network parameters and activations. In particular, mixed precision networks achieve better performance than networks with homogeneous bitwidth for the same size constraint. Since choosing the optimal bitwidths is not straight forward, training methods, which can learn them, are desirable. Differentiable quantization with straight-through gradients allows to learn the quantizer's parameters using gradient methods. We show that a suited parametrization of the quantizer is the key to achieve a stable training and a good final performance. Specifically, we propose to parametrize the quantizer with the step size and dynamic range. The bitwidth can then be inferred from them. Other parametrizations, which explicitly use the bitwidth, consistently perform worse. We confirm our findings with experiments on CIFAR-10 and ImageNet and we obtain mixed precision DNNs with learned quantization parameters, achieving state-of-the-art performance.

연구 동기 및 목표

• 모바일/임베디드 기기에서 혼합 정밀도 양자화를 통한 효율적인 DNN 추론을 구현한다.
• 경사 기반 방법을 사용하여 엔드투엔드로 양자화 매개변수를 학습하는 방법을 조사한다.
• 안정한 학습과 강한 최종 성능을 가능하게 하는 매개변화를 식별한다.
• 학습된 양자화가 CIFAR-10 및 ImageNet 비교에 미치는 영향을 시연한다.

제안 방법

• 연속적으로 미분 가능한 양자화를 사용하여 직전(STRAIGHT-THROUGH) 그래디언트를 통해 양자화 매개변수를 학습한다.
• 양자화기를 스텝 크기와 다이나믹 레인지로 매개변수화하고, 이로부터 비트폭을 추론한다.
• 비트폭을 명시적으로 사용하는 매개변수화와 그렇지 않은 매개변수화를 비교한다.
• 학습된 혼합 정밀도 네트워크의 성능을 CIFAR-10과 ImageNet에서 평가한다.

실험 결과

연구 질문

• RQ1 스텝 크기와 다이나믹 레인지로 매개변수화했을 때 미분 가능한 양자화가 유용한 비트폭을 학습할 수 있는가?
• RQ2 이 매개변수화가 비트폭 기반 매개변수화보다 더 안정적인 학습과 더 나은 성능을 제공하는가?
• RQ3 학습된 양자화 매개변수가 고정되거나 균일한 정밀도와 비교하여 표준 벤치마크(CIFAR-10, ImageNet)의 성능에 어떤 영향을 미치는가?
• RQ4 학습된 혼합 정밀도 네트워크의 추론 효율성에 크기 제약 하에서 어떤 영향을 미치는가?

주요 결과

• 스텝 크기와 다이나믹 레인지로 양자화기를 매개변화하면 혼합 정밀도 DNN의 안정적인 학습이 가능하다.
• 비트폭은 학습된 스텝 크기와 다이나믹 레인지로부터 추론될 수 있으며, 사전에 고정될 필요가 없다.
• 비트폭을 명시적으로 사용하는 다른 매개변수화는 더 나쁘게 작동한다.
• CIFAR-10과 ImageNet에서의 실험은 학습된 양자화가 강력한 성능을 달성함을 보여준다.
• 이 접근 방식은 학습된 양자화 매개변수를 갖춘 혼합 정밀도 DNN을 생산하며, 테스트된 벤치마크에서 최첨단 성능에 도달한다.