[論文レビュー] Effective Training of Convolutional Neural Networks with Low-bitwidth Weights and Activations

Bohan Zhuang, Jing Liu+4 more|arXiv (Cornell University)|Aug 10, 2019

Advanced Neural Network Applications参考文献 91被引用数 9

ひとこと要約

本論文は、低ビット幅重みおよび活性化関数を用いた畳み込みニューラルネットワーク（CNN）を効果的に訓練するための3つの新しいトレーニング戦略—段階的量子化、確率的精度、および統合的知識蒸留—を提案する。重みを段階的に量子化した後、活性化関数を段階的に量子化することで、トレーニングのオーバーヘッドを低減する1段階の確率的量子化を用い、フル精度の教師ネットワークと低精度の学生ネットワークを同時に訓練することで、2ビットの重みと活性化関数を用いたImageNetおよびCIFAR-100で最先端の精度を達成した。ベースラインより最大3.06%の相対的誤差低減を達成した。

ABSTRACT

This paper tackles the problem of training a deep convolutional neural network of both low-bitwidth weights and activations. Optimizing a low-precision network is very challenging due to the non-differentiability of the quantizer, which may result in substantial accuracy loss. To address this, we propose three practical approaches, including (i) progressive quantization; (ii) stochastic precision; and (iii) joint knowledge distillation to improve the network training. First, for progressive quantization, we propose two schemes to progressively find good local minima. Specifically, we propose to first optimize a net with quantized weights and subsequently quantize activations. This is in contrast to the traditional methods which optimize them simultaneously. Furthermore, we propose a second progressive quantization scheme which gradually decreases the bit-width from high-precision to low-precision during training. Second, to alleviate the excessive training burden due to the multi-round training stages, we further propose a one-stage stochastic precision strategy to randomly sample and quantize sub-networks while keeping other parts in full-precision. Finally, we adopt a novel learning scheme to jointly train a full-precision model alongside the low-precision one. By doing so, the full-precision model provides hints to guide the low-precision model training and significantly improves the performance of the low-precision network. Extensive experiments on various datasets (e.g., CIFAR-100, ImageNet) show the effectiveness of the proposed methods.

研究の動機と目的

• 低ビット幅重みおよび活性化関数を併用する深層CNNのトレーニングという課題に取り組むこと。これは、量子化操作の微分不能性に起因する。
• トレーニングの負荷を段階的量子化の多段階プロセスにわたって軽減しながら、性能向上を維持すること。
• フル精度の教師ネットワークからの知識蒸留を活用して、低精度ネットワークの性能を向上させること。
• 教師および学生ネットワークを同時に最適化することで、トレーニング中に相互に改善を促進すること。
• さまざまなネットワークアーキテクチャおよびビット幅に適用可能な汎用的で効果的なトレーニングフレームワークを開発すること。

提案手法

• 2段階の段階的量子化スキームを提案：まず重みのみを量子化して学習し、その後活性化関数を量子化してファインチューニングする。
• 1次段階の段階的量子化スキームを導入：トレーニング中にフル精度から目標の低精度へ段階的にビット幅を減少させる。
• 1段階の確率的精度戦略を開発：部分ネットワーク（例：層やブロック）をランダムに選択し、量子化しながら残りをフル精度に保つことで、ドロップアウトを模倣し、勾配の流れを改善する。
• 統合的知識蒸留を導入：フル精度の教師と低精度の学生を同時に訓練し、教師がログイットまたは特徴量の最小化による損失を通じて学生をガイドする。
• ラベルのクロスエントロピー損失と教師・学生出力間の知識蒸留損失を組み合わせた統合トレーニング目的関数を用いる。
• 段階的量子化、確率的精度、および統合的知識蒸留の3つの要素を統合し、最大のパフォーマンスを実現する統一されたトレーニングフレームワークを構築する。

実験結果

リサーチクエスチョン

• RQ1 重みと活性化関数の量子化を分離することで、段階的量子化が低ビット幅CNNの最適化と精度向上に寄与するか？
• RQ2 1段階の確率的精度戦略は、段階的量子化の性能向上を維持しつつ、トレーニングの複雑さを効果的に低減できるか？
• RQ3 フル精度の教師と低精度の学生を同時にトレーニングすることで、標準的な知識蒸留を上回る学生モデルの精度向上が達成できるか？
• RQ4 提案手法が組み合わされた場合、ImageNetやCIFAR-100といった標準ベンチマークで、相互作用はどのように現れ、最大のパフォーマンス向上はどの程度か？
• RQ5 提案されたフレームワークは、さまざまなネットワークアーキテクチャ（例：ResNet、PreResNet、AlexNet）およびビット幅（例：2ビット、4ビット）に一般化可能か？

主な発見

• ResNet-50を用いたImageNetで2ビットの重みと活性化関数を適用した場合、提案手法はTop-1精度72.40%を達成し、ベースラインより3.06%の相対的向上を示した。
• ResNet-50で2W、2Aを適用した場合、提案手法はTop-1精度72.40%を達成し、ベースラインより3.06%、DoReFa-Netベースラインより2.39%のTop-1誤差低減を達成した。
• AlexNetを用いたCIFAR-100で2W、2Aを適用した場合、SPおよびKDを用いた手法はTop-1精度65.23%を達成し、ベースラインより1.34%向上した。
• AlexNetを用いたImageNetで2W、2Aを適用した場合、TS、PP、およびKDを用いた手法はTop-1精度51.96%を達成し、ベースラインより3.17%向上した。
• 統合的知識蒸留戦略により、フル精度の教師ネットワークおよび低精度の学生ネットワークの両方が同時に向上し、相互に利益をもたらすことが示された。
• 段階的量子化、確率的精度、および統合的知識蒸留の3要素を統合することで、すべてのデータセットおよびアーキテクチャで最高のパフォーマンスが得られた。