[論文レビュー] Training Deep Neural Network in Limited Precision

Hyunsun Park, Jun Haeng Lee+3 more|arXiv (Cornell University)|Oct 12, 2018

Advanced Neural Network Applications参考文献 28被引用数 4

ひとこと要約

本論文では、Kahan和を用いた遅延更新メカニズムを提案し、小数の勾配を補助累算器に蓄積することで、低精度（例：INT8）での深層ニューラルネットワークの安定した学習を可能にする。これにより、パラメータ更新時の精度損失を防止する。また、分類数に基づいた最終全結合層のビット幅ガイドラインを導入している。本手法は、8ビット重みと16ビット活性化値、勾配、最適化手法を用いて、CIFAR-10、ImageNet、GAN、LSTMタスクで完全精度の学習精度を達成した。

ABSTRACT

Energy and resource efficient training of DNNs will greatly extend the applications of deep learning. However, there are three major obstacles which mandate accurate calculation in high precision. In this paper, we tackle two of them related to the loss of gradients during parameter update and backpropagation through a softmax nonlinearity layer in low precision training. We implemented SGD with Kahan summation by employing an additional parameter to virtually extend the bit-width of the parameters for a reliable parameter update. We also proposed a simple guideline to help select the appropriate bit-width for the last FC layer followed by a softmax nonlinearity layer. It determines the lower bound of the required bit-width based on the class size of the dataset. Extensive experiments on various network architectures and benchmarks verifies the effectiveness of the proposed technique for low precision training.

研究の動機と目的

• 低精度DNN学習における不十分な勾配精度に起因する不安定なパラメータ更新の課題に対処すること。
• 低精度計算におけるソフトマックス非線形性が引き起こす数値的不安定性を克服すること。
• 混合精度や専用ハードウェアを必要とせず、低精度ハードウェア（例：8ビット）でのみ動作させることで、完全精度の学習精度を達成すること。
• データセットのクラス数に基づいた最終全結合層の最小ビット幅の実用的ガイドラインを提供すること。
• 混合精度や専用演算を一切使用せずに、多様なアーキテクチャとベンチマークでエンドツーエンドの低精度学習を実現し、精度の低下を防ぐこと。

提案手法

• 小数の勾配を複数ステップにわたり蓄積する補助累算器を導入することで、確率的勾配降下法（SGD）にKahan和を適用する。
• 蓄積された勾配値が、ターゲット精度（例：8ビット）内でパラメータに影響を与える十分な大きさに達した場合にのみ、主なネットワークパラメータを更新することで、精度損失を低減する。
• 8ビット重みと16ビット累算器を用いた動的固定小数点数体系を採用し、パラメータの有効ビット幅を仮想的に拡張する。
• 最終的なソフトマックス前の全結合層を含む、すべての層の重みおよびバイアスの更新に対し、遅延更新メカニズムを適用する。
• ビット幅ガイドラインを提案：出力クラス数をCとすると、精度の低下を防ぐために最終FC層には少なくともlog₂(C)ビットが必要である。
• 特殊なハードウェアや確率的量子化を必要としない、単純な8ビット固定小数点アクセラレータ上に本手法を実装した。

実験結果

リサーチクエスチョン

• RQ1 標準的な整数演算のみを用い、高精度ハードウェアを一切使わず、低精度DNN学習における安定したパラメータ更新が可能か？
• RQ2 低精度学習におけるソフトマックス非線形性が引き起こす数値的不安定性は、どのように緩和できるか？
• RQ3 最終全結合層（ソフトマックス前）に必要な最小ビット幅は何か？ 低精度環境下で学習精度を維持するためには。
• RQ4 8ビット重みと16ビット活性化値・勾配・最適化手法のみを用いて、多様なアーキテクチャ（CNN、GAN、LSTM）とベンチマーク（CIFAR-10、ImageNet、TIDIGITS）で完全精度の学習精度を達成できるか？
• RQ5 提案された遅延更新メカニズムは、通常の低精度学習に比べ、収束性および最終精度で優れているか？

主な発見

• Kahan和に基づく遅延更新により、CIFAR-10ではINT8重みとINT16活性化値・勾配・最適化手法を用いても93.4％のテスト精度を達成し、完全精度の学習精度を実現した。
• ImageNetでは、8ビット重みと16ビット活性化値・勾配・最適化手法を用いても75.3％のトップ-1精度を達成し、完全精度学習と同等の性能を示した。
• GANでは、INT8重みと他のすべてのテンソルをINT16で使用した状態で、64×64の顔や寝室の高品質な画像を生成でき、顕著な劣化は認めなかった。
• TIDIGITSデータセットでは、INT8でLSTMを学習した場合、遅延更新を適用することでバリデーション精度が75.21％から97.41％に向上し、FP32学習の97.62％と同等の精度を達成した。
• 最終FC層のビット幅ガイドライン（log₂(C)ビット）は、精度の低下を効果的に防止し、安全な低精度学習の下限を提供した。
• 本手法により、混合精度ハードウェアや専用演算を一切必要とせず、多様なDNN（CNN、GAN、LSTM）をエンドツーエンドで低精度で学習可能となり、すべてのベンチマークで競争力のある結果が得られた。