[論文レビュー] Low precision storage for deep learning

Matthieu Courbariaux, Yoshua Bengio+1 more|arXiv (Cornell University)|Dec 22, 2014

Advanced Neural Network Applications参考文献 23被引用数 134

ひとこと要約

本論文は、MNIST、CIFAR10、SVHNにおけるMaxoutニューラルネットワークのトレーニングおよびデプロイに向けた低精度保存形式—浮動小数点、固定小数点、および動的固定小数点—を調査する。10ビットの精度で活性化関数と勾配の保存が十分であり、パラメータには12ビットで十分であることが示され、最先端の性能を維持しつつ、顕著な精度損失なしに効率的なモデル保存および推論を可能にする。

ABSTRACT

We train a set of state of the art neural networks, the Maxout networks (Goodfellow et al., 2013a), on three benchmark datasets: the MNIST, CIFAR10 and SVHN, with three distinct storing formats: floating point, fixed point and dynamic fixed point. For each of those datasets and for each of those formats, we assess the impact of the precision of the storage on the final error of the training. We find that very low precision storage is sufficient not just for running trained networks but also for training them. For example, Maxout networks state-of-the-art results are nearly maintained with 10 bits for storing activations and gradients, and 12 bits for storing parameters.

研究の動機と目的

• 低精度保存形式がディープラーニングモデルのトレーニングおよび推論に与える影響を評価すること。
• 顕著な精度低下が生じない範囲で、活性化関数、勾配、パラメータを格納するための最小精度を特定すること。
• モデル性能の観点から、固定小数点および動的固定小数点形式を標準の浮動小数点表現と比較すること。
• 標準ベンチマークデータセット上で最先端の結果を維持するための精度のしきい値を同定すること。

提案手法

• 浮動小数点、固定小数点、動的固定小数点の3つの保存形式を用いて、MNIST、CIFAR10、SVHNにおけるMaxoutネットワークのトレーニング。
• 複数の実験を通じて、活性化関数、勾配、パラメータの保存に使用するビット精度を体系的に変更。
• 確率的勾配降下法を用いた標準的なトレーニング手順を採用し、重み、活性化関数、勾配の保存を指定された精度形式に制限。
• トレーニング後の最終テスト誤差を測定し、精度がモデル性能に与える影響を評価。
• 活性化関数の範囲に応じて小数点位置を動的に調整する動的固定小数点を用いることで、精度の効率的管理を実現。

実験結果

リサーチクエスチョン

• RQ1 トレーニング中にモデル精度が低下しない範囲で、活性化関数と勾配を格納するための最小精度は何か？
• RQ2 固定小数点保存は、ベンチマークデータセット上で最先端の性能を維持する点で、浮動小数点と比べてどのように異なるか？
• RQ3 動的固定小数点表現は、標準の固定小数点形式と比較して、精度の効率を向上させることができるか？
• RQ4 パラメータ、活性化関数、勾配の保存において、モデル性能の損失が無視できる水準に達するビット幅は何か？

主な発見

• Maxoutネットワークは、活性化関数と勾配の保存に10ビットの精度のみを用いても、ほぼ最先端の性能を達成できる。
• すべてのデータセットで、パラメータを12ビットの精度で保存しても、近似的に最適なテスト精度を維持できる。
• 動的固定小数点表現の使用により、ビット幅を増加させることなく、より優れた精度管理が可能になる。
• 特に活性化関数と勾配において、顕著な精度損失なしにストレージ要件を大幅に削減できる。