[論文レビュー] Training deep neural networks with low precision multiplications

Matthieu Courbariaux, Yoshua Bengio+1 more|PolyPublie (École Polytechnique de Montréal)|Dec 22, 2014

Numerical Methods and Algorithms参考文献 18被引用数 302

ひとこと要約

この論文は、深層ニューラルネットワークを極めて低精度の乗算器（9ビット固定小数点または10ビット動的固定小数点演算）を用いても、高い精度を維持したまま効果的に学習できることを示している。高精度の蓄積器と、より高い精度の重み更新を用いることで、最小限の算術精度でMNIST、CIFAR-10、SVHNにおいて準最良の性能を達成し、効率的なハードウェア実装を可能にした。

ABSTRACT

Multipliers are the most space and power-hungry arithmetic operators of the digital implementation of deep neural networks. We train a set of state-of-the-art neural networks (Maxout networks) on three benchmark datasets: MNIST, CIFAR-10 and SVHN. They are trained with three distinct formats: floating point, fixed point and dynamic fixed point. For each of those datasets and for each of those formats, we assess the impact of the precision of the multiplications on the final error after training. We find that very low precision is sufficient not just for running trained networks but also for training them. For example, it is possible to train Maxout networks with 10 bits multiplications.

研究の動機と目的

• 極めて低精度の乗算器を、推論だけでなく、エンドツーエンドの学習に対しても使用可能かどうかを調査すること。
• 浮動小数点、固定小数点、動的固定小数点の各形式において、精度の低下が学習の安定性および最終的なテスト誤差に与える影響を評価すること。
• モデルの精度を維持するために必要な活性化関数と重み更新の最小ビット幅を特定すること。
• 各層ごとにスケーリング要因を適応的に変更する動的固定小数点形式を提案・検証すること。
• 乗算器の精度を最小限に抑えることで、エネルギーおよび面積効率の高いハードウェア設計を深層学習に適用可能にする。

提案手法

• 浮動小数点、固定小数点、動的固定小数点の3つの算術形式を用いて、MNIST、CIFAR-10、SVHNでMaxoutネットワークの学習を実施した。
• 低精度の乗算器にもかかわらず、前方伝搬および逆伝搬の数値的安定性を維持するため、高精度の蓄積器（32ビット）を用いた。
• 活性化関数や伝搬処理に9〜11ビットの低精度算術を適用する一方で、重み更新には19〜20ビットのより高い精度の算術を適用した。
• 初期学習段階で学習されたスケーリング要因を用い、10,000例ごとに更新する動的固定小数点を採用した。
• 低精度環境における量子化誤差を低減するために、確率的丸めと正規化技術を適用した。
• 複数のデータセットおよび精度レベルにおける汎化誤差を評価し、精度の閾値を同定した。

実験結果

リサーチクエスチョン

• RQ1 10ビット以下という極めて低い精度の乗算を用いても、深層ニューラルネットワークの学習が可能であり、顕著な精度低下が生じないか？
• RQ2 精度効率および学習安定性の観点から、動的固定小数点は固定小数点および浮動小数点に比べてどのように優れているか？
• RQ3 活性化関数と重み更新に必要な最小ビット幅は何か？ これは、許容可能なテスト誤差率を維持するためのものである。
• RQ4 低精度環境において、重み更新に高精度算術を用いることで、学習収束が著しく改善されるか？
• RQ5 低精度学習は、標準的なベンチマークで使用される最新の深層学習モデル（例：Maxoutネットワーク）に対しても、効果的に適用可能か？

主な発見

• 10ビット固定小数点乗算器を用いた学習では、MNIST、CIFAR-10、SVHNにおいて、フル精度学習と同等のテスト誤差率が得られ、精度の低下は最小限に抑えられた。
• 固定小数点における伝搬処理の最小ビット幅は19ビット（符号を含めると20ビット）であり、これ未満ではテスト誤差が急激に増加する。
• 動的固定小数点では、9ビットの伝搬処理と11ビットの重み更新が、ほぼ最適な性能を達成しており、SVHNではわずかに誤差が増加するにとどまる。
• 高精度の蓄積器と、高精度の重み更新を用いることで、低精度環境下での学習安定性および最終的な精度が著しく向上した。
• 動的固定小数点は、各層ごとにスケーリング要因を適応的に変更することで、量子化誤差を低減し、より低いビット幅を実現できた。
• 16ビットの半精度浮動小数点を用いることで、学習に顕著な影響がなく、16ビット浮動小数点でも十分に学習が可能であることが示唆された。