[論文レビュー] Mixed Precision DNNs: All you need is a good parametrization

Stefan Uhlich, Lukas Mauch+6 more|arXiv (Cornell University)|May 27, 2019

Advanced Neural Network Applications参考文献 22被引用数 51

ひとこと要約

本論文は、量子化器をそのステップサイズとダイナミックレンジでパラメータ化する（推定ビット幅を生み出す）ことで、安定した学習と最先端の混合精度DNNを実現できることを示している。

ABSTRACT

Efficient deep neural network (DNN) inference on mobile or embedded devices typically involves quantization of the network parameters and activations. In particular, mixed precision networks achieve better performance than networks with homogeneous bitwidth for the same size constraint. Since choosing the optimal bitwidths is not straight forward, training methods, which can learn them, are desirable. Differentiable quantization with straight-through gradients allows to learn the quantizer's parameters using gradient methods. We show that a suited parametrization of the quantizer is the key to achieve a stable training and a good final performance. Specifically, we propose to parametrize the quantizer with the step size and dynamic range. The bitwidth can then be inferred from them. Other parametrizations, which explicitly use the bitwidth, consistently perform worse. We confirm our findings with experiments on CIFAR-10 and ImageNet and we obtain mixed precision DNNs with learned quantization parameters, achieving state-of-the-art performance.

研究の動機と目的

• 混合精度量子化によるモバイル/組み込みデバイスでの効率的なDNN推論を動機づける。
• 勾配ベースの手法を用いて量子化パラメータをエンドツーエンドで学習する方法を調査する。
• 安定した学習と高い最終性能を実現するパラメータ化を特定する。
• CIFAR-10とImageNetの比較における学習量子化の影響を示す。

提案手法

• 学習量子化パラメータのために、ストレートスルー勾配を用いた微分可能な量子化を用いる。
• 量子化器をステップサイズとダイナミックレンジでパラメータ化し、そこからビット幅を推定する。
• ビット幅を明示的に使用するパラメータ化と、そうでないパラメータ化を比較する。
• CIFAR-10とImageNetで評価し、学習された混合精度ネットワークの性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 ステップサイズとダイナミックレンジでパラメータ化した場合、微分可能な量子化は有用なビット幅を学習できるか？
• RQ2 このパラメータ化は、ビット幅ベースのパラメータ化よりも安定した学習とより良い性能をもたらすか？
• RQ3 標準ベンチマーク（CIFAR-10、ImageNet）における学習済み量子化パラメータは、固定または均一精度と比較して性能にどのような影響を及ぼすか？
• RQ4 サイズ制約下での推論効率に対する学習済み混合精度ネットワークの影響はどの程度か？

主な発見

• 量子化器をステップサイズとダイナミックレンジでパラメータ化することで、混合精度DNNの安定した学習が可能になる。
• ビット幅は事前に固定されるのではなく、学習済みのステップサイズとダイナミックレンジから推定できる。
• ビット幅を明示的に使用する他のパラメータ化は悪化する。
• CIFAR-10とImageNetの実験は、学習された量子化が高い性能を達成することを示している。
• このアプローチは、学習された量子化パラメータを備えた混合精度DNNを生み出し、評価対象のベンチマークで最先端の性能を達成する。