[論文レビュー] Low precision arithmetic for deep learning

Matthieu Courbariaux, Yoshua Bengio+1 more|arXiv (Cornell University)|Jan 1, 2014

Neural Networks and Applications被引用数 87

ひとこと要約

この論文は、浮動小数点、固定小数点、動的固定小数点形式を含む低精度算術を用いた深層ニューラルネットワークの学習の可能性を調査している。Maxoutネットワークを用いてMNIST、CIFAR10、SVHNの各データセットで、活性化関数と勾配に10ビット精度、パラメータ更新に12ビット精度を用いることで、準SOTA（最先端に近い）の性能が達成された。これは、低精度計算が学習および推論の両方において十分であることを示している。

ABSTRACT

We simulate the training of a set of state of the art neural networks, the Maxout networks (Goodfellow et al., 2013a), on three benchmark datasets: the MNIST, CIFAR10 and SVHN, with three distinct arithmetics: floating point, fixed point and dynamic fixed point. For each of those datasets and for each of those arithmetics, we assess the impact of the precision of the computations on the final error of the training. We find that very low precision computation is sufficient not just for running trained networks but also for training them. For example, almost state-of-the-art results were obtained on most datasets with 10 bits for computing activations and gradients, and 12 bits for storing updated parameters.

研究の動機と目的

• 高精度算術がSOTAの深層ニューラルネットワークの学習に与える影響を評価すること。
• 顕著な精度損失なしに学習および推論に必要な最小精度を特定すること。
• 低精度設定における浮動小数点、固定小数点、動的固定小数点算術の性能を比較すること。
• 複数のベンチマークデータセットで競争力のあるテスト誤差率を維持できる精度の閾値を同定すること。

提案手法

• 浮動小数点、固定小数点、動的固定小数点の3種類の算術タイプを用いて、MNIST、CIFAR10、SVHNにおけるMaxoutネットワークのシミュレーテッド学習。
• 計算の精度（活性化関数と勾配）およびパラメータの保存精度を、複数のビット幅設定で変化させた。
• 学習後の最終テスト誤差を測定し、精度がモデル性能に与える影響を評価した。
• 数値精度の影響を明確にするために、すべての精度設定で同一の学習ハイパーパramータを用いた。
• 計算およびパラメータ保存の両方で8ビットから16ビットまでの精度レベルを評価した。
• 計算中に小数点位置を動的に調整する動的固定小数点算術を採用し、精度の効率を向上させた。

実験結果

リサーチクエスチョン

• RQ1 顕著な精度損失なしに、深層ニューラルネットワークの学習に必要な最小精度は何か？
• RQ2 低精度算術は、標準ベンチマークデータセットにおける最終テスト誤差にどのように影響するか？
• RQ3 固定小数点または動的固定小数点算術は、フル精度の浮動小数点学習と同等の性能を達成できるか？
• RQ4 どのビット幅で、精度と計算効率のトレードオフが学習に有利になるか？
• RQ5 MNIST、CIFAR10、SVHNのような異なるデータセットで、必要な精度は異なるか？

主な発見

• 活性化関数と勾配に10ビット精度を用いた学習が、3つのデータセットすべてで準SOTAの性能を達成した。
• パラメータ更新の保存に12ビット精度を用いることで、高いモデル精度を維持できた。
• 非常に低い精度の算術、すなわち固定小数点および動的固定小数点を用いることで、最終テスト誤差の損失を最小限に抑えながら学習が可能になった。
• 結果から、モデル性能に影響を与えることなく、精度を顕著に低減できることが示された。
• 低精度学習の性能は、MNIST、CIFAR10、SVHNの間で一貫しており、広範な適用可能性があることを示唆している。
• 動的固定小数点算術は、低精度学習における精度と効率の実用的なバランスを提供した。