[論文レビュー] Learning Low Precision Deep Neural Networks through Regularization.

Yoojin Choi, Mostafa El‐Khamy+1 more|arXiv (Cornell University)|Sep 1, 2018

Advanced Image Processing Techniques参考文献 64被引用数 27

ひとこと要約

本論文では、学習可能な正則化係数を導入することで、最小限の量子化損失で低精度の深層ニューラルネットワーク（DNN）を訓練する正則化ベースの手法を提案する。この手法により、ImageNetベンチマークにおいて8ビットおよびバイナリDNNで最先端の精度を達成し、超解像タスクでは0.5 dBのPSNR損失に抑えられ、LeNet-5では最大401倍の圧縮が達成された。

ABSTRACT

We consider the quantization of deep neural networks (DNNs) to produce low-precision models for efficient inference of fixed-point operations. Compared to previous approaches to training quantized DNNs directly under the constraints of low-precision weights and activations, we learn the quantization of DNNs with minimal quantization loss through regularization. In particular, we introduce the learnable regularization coefficient to find accurate low-precision models efficiently in training. In our experiments, the proposed scheme yields the state-of-the-art low-precision models of AlexNet and ResNet-18, which have better accuracy than their previously available low-precision models. We also examine our quantization method to produce low-precision DNNs for image super resolution. We observe only $0.5$~dB peak signal-to-noise ratio (PSNR) loss when using binary weights and 8-bit activations. The proposed scheme can be used to train low-precision models from scratch or to fine-tune a well-trained high-precision model to converge to a low-precision model. Finally, we discuss how a similar regularization method can be adopted in DNN weight pruning and compression, and show that $401 imes$ compression is achieved for LeNet-5.

研究の動機と目的

• 厳密な精度制約下でエンドツーエンドのトレーニングに依存せずに、低精度DNNにおける量子化損失を低減すること。
• 高精度モデルからのスクラッチまたはファインチューニングによる、低精度モデルの効率的なトレーニングを可能にすること。
• 量子化を超えた応用可能性、すなわち重みプルーニングやモデル圧縮への適用を検討すること。
• 画像超解像および分類タスクにおける高精度な低精度モデルの達成

提案手法

• トレーニング中に動的に調整される学習可能な正則化係数を導入し、量子化誤差を最小化する。
• 重みと活性化の量子化プロセスに正則化を適用することで、ネットワークが最適な低精度表現を学習できるようにする。
• 量子化に配慮した正則化を用いてエンドツーエンドでモデルをトレーニングし、正確な低精度解への収束を可能にする。
• 同一の正則化フレームワークを重み量子化と活性化量子化に統合的に適用する。
• 同じ正則化原理を応用して重みプルーニングに適応させ、高い圧縮比を達成する。
• スクラッチからのトレーニングと、事前学習済みの高精度モデルのファインチューニングの両方に対応する。

実験結果

リサーチクエスチョン

• RQ1 学習可能な係数を用いた正則化は、直接的な量子化トレーニングに比べて、量子化損失をより効果的に低減できるか？
• RQ2 本手法は、ImageNetにおける既存の量子化方式と比較して、どの程度高い精度を達成するか？
• RQ3 本手法は、画像超解像タスクにおける低精度設定でも、性能をどの程度維持できるか？
• RQ4 同じ正則化フレームワークをモデル圧縮やプルーニングに拡張可能か？
• RQ5 本正則化ベースのプルーニング手法により、どの程度の圧縮比が達成できるか？

主な発見

• 提案手法は、AlexNetおよびResNet-18の低精度モデルにおいて、最先端の精度を達成した。
• 画像超解像タスクでは、バイナリ重みと8ビット活性化を使用しても、わずか0.5 dBのPSNR損失に抑えられた。
• 本手法により、スクラッチからの低精度モデルトレーニングや、高精度モデルのファインチューニングにおいて、一貫した性能向上が得られた。
• 正則化フレームワークにより、LeNet-5では最大401倍のモデル圧縮が達成された。
• 学習可能な正則化係数は、トレーニング中に量子化誤差とモデル精度のバランスを効果的に制御した。