[論文レビュー] Towards Effective Low-bitwidth Convolutional Neural Networks

Bohan Zhuang, Chunhua Shen+3 more|arXiv (Cornell University)|Nov 1, 2017

Advanced Neural Network Applications参考文献 33被引用数 22

ひとこと要約

本論文は、4ビットの重みと活性化を併用する低ビット幅畳み込みニューラルネットワーク（CNN）が、完全精度モデルと同等またはそれを上回る精度に達するようにするための3つの効果的な訓練戦略——2段階最適化、段階的量子化、および完全精度モデルとの共同訓練——を提案する。これらの手法は、訓練の安定性と収束性を顕著に向上させ、低精度でも最小限の精度低下でImageNetおよびCIFAR-100で最先端の性能を達成する。

ABSTRACT

This paper tackles the problem of training a deep convolutional neural network with both low-precision weights and low-bitwidth activations. Optimizing a low-precision network is very challenging since the training process can easily get trapped in a poor local minima, which results in substantial accuracy loss. To mitigate this problem, we propose three simple-yet-effective approaches to improve the network training. First, we propose to use a two-stage optimization strategy to progressively find good local minima. Specifically, we propose to first optimize a net with quantized weights and then quantized activations. This is in contrast to the traditional methods which optimize them simultaneously. Second, following a similar spirit of the first method, we propose another progressive optimization approach which progressively decreases the bit-width from high-precision to low-precision during the course of training. Third, we adopt a novel learning scheme to jointly train a full-precision model alongside the low-precision one. By doing so, the full-precision model provides hints to guide the low-precision model training. Extensive experiments on various datasets ( i.e., CIFAR-100 and ImageNet) show the effectiveness of the proposed methods. To highlight, using our methods to train a 4-bit precision network leads to no performance decrease in comparison with its full-precision counterpart with standard network architectures ( i.e., AlexNet and ResNet-50).

研究の動機と目的

• 低精度の重みと活性化を併用する深層CNNの訓練という課題に取り組むこと。これは、しばしば悪い局所最適解に陥り、顕著な精度低下を引き起こすことがある。
• 構造的で段階的な最適化戦略を導入することで、低ビット幅ネットワークにおける訓練の安定性と収束性を向上させること。
• 完全精度モデルからの知識を活用して、低精度の対応モデルの訓練を支援することで、勾配の流れとモデルの一般化性能を向上させること。
• AlexNetやResNet-50のような多様なネットワークアーキテクチャに効果的で、スケーラブルなエンドツーエンドの訓練手法を開発すること。

提案手法

• 重みのみを量子化した段階で最初にネットワークを訓練し、次に活性化を量子化した段階で微調整する2段階最適化戦略を提案。最初の段階の解をより良い初期化として利用する。
• 段階的量子化を導入。ネットワークを徐々にビット幅を短く（例：32ビット → 8ビット → 4ビット → 2ビット）して訓練することで、低精度解への滑らかな収束を実現する。
• 低精度ネットワークと完全精度モデルを同時に学習させる共同訓練を提案。相互の知識蒸留と改善された勾配信号を可能にする。
• 完全精度モデルが特徴量または確率の蒸留を通じて監視を行う、新しいガイド付き訓練方式を採用。事前学習を必要とせず、最適化を改善する。
• ストレートスルー推定器を用いた標準的な量子化関数を採用するが、提案された段階的および共同学習メカニズムにより訓練の安定性を向上させる。
• 層ごとの再訓練を必要とせず、標準的なアーキテクチャ（AlexNet、ResNet-50）に対してエンドツーエンドに適用可能であり、より深いネットワークへのスケーラビリティを確保する。

実験結果

リサーチクエスチョン

• RQ1 まず重みを量子化し、その後活性化を量子化する2段階訓練プロセスが、低ビット幅CNNにおける収束性と精度を向上させるか？
• RQ2 高精度から目標の低精度に段階的にビット幅を減らしながら訓練することで、最終的な性能が向上するか？
• RQ3 事前学習を必要とせず、低精度ネットワークと完全精度モデルを共同で訓練することで、最適化と一般化性能が向上するか？
• RQ4 これらの手法は、ResNet-50のような深層ネットワークにおいて、既存の手法と比較してスケーラビリティと性能の点で優れているか？

主な発見

• 提案された2段階最適化を用いることで、ImageNetにおける2ビットのResNet-50はベースラインを上回る検証精度を達成。第1段階では最小限の損失であり、第2段階では一貫してベースラインを上回った。
• AlexNetにおいて32ビットから2ビットへの段階的量子化は、2ビットベースラインと比較してトップ1精度で1.5%の相対的改善を示した。4ビットから2ビットへの量子化では顕著な低下が見られたが、それでも改善が得られた。
• ガイド付き訓練戦略は、設定にかかわらず一貫したマージンでベースラインを上回った。完全精度モデルも共同最適化の恩恵を受けていた。
• 段階的量子化、2段階訓練、ガイド付き訓練を組み合わせた（PQ+TS+Guided）手法が最良の性能を示し、個々のコンponentを上回った。
• ImageNetでは、提案手法で訓練された4ビットネットワークが、32ビットの完全精度モデルを上回るトップ1精度を達成した。これは、低精度でも最先端の性能を実現したことを示している。