[論文レビュー] Low-Precision Floating-Point Schemes for Neural Network Training

Marc Ortiz, Adrián Cristal+2 more|arXiv (Cornell University)|Apr 14, 2018

Numerical Methods and Algorithms参考文献 4被引用数 9

ひとこと要約

本稿では、エネルギー消費とメモリ使用量を削減しながらニューラルネットワークの学習を高速化するための低精度浮動小数点および固定小数点算術スキームを提案する。12ビット浮動小数点形式に確率的丸めを導入し、局所的にスケーリングされた浮動小数点のバリエーションを提案することで、32ビット学習のベースラインに対して2.42%の精度向上を達成した。また、乗算をビットシフトに置き換えるパワー・オブ・ツー（Power-of-Two）ニューラルネットワークを提案し、計算時間とリソース消費を削減しながら精度の損失を最小限に抑えた。

ABSTRACT

The use of low-precision fixed-point arithmetic along with stochastic rounding has been proposed as a promising alternative to the commonly used 32-bit floating point arithmetic to enhance training neural networks training in terms of performance and energy efficiency. In the first part of this paper, the behaviour of the 12-bit fixed-point arithmetic when training a convolutional neural network with the CIFAR-10 dataset is analysed, showing that such arithmetic is not the most appropriate for the training phase. After that, the paper presents and evaluates, under the same conditions, alternative low-precision arithmetics, starting with the 12-bit floating-point arithmetic. These two representations are then leveraged using local scaling in order to increase accuracy and get closer to the baseline 32-bit floating-point arithmetic. Finally, the paper introduces a simplified model in which both the outputs and the gradients of the neural networks are constrained to power-of-two values, just using 7 bits for their representation. The evaluation demonstrates a minimal loss in accuracy for the proposed Power-of-Two neural network, avoiding the use of multiplications and divisions and thereby, significantly reducing the training time as well as the energy consumption and memory requirements during the training and inference phases.

研究の動機と目的

• 深層ニューラルネットワークの学習において、確率的丸めを用いた低精度固定小数点算術の限界を評価すること。
• モデルの精度を維持しつつ効率性を向上させる代替の低精度数値表現を検討すること。
• 乗算や除算を避けるために、2の累乗値を用いた簡素化されたニューラルネットワークモデルを設計すること。
• 局所的にスケーリングされた浮動小数点算術が、12ビットでさえも32ビットベースラインを上回る精度を達成できることを示すこと。
• 低精度形式におけるハードウェアフレンドリーな演算を活用することで、エネルギー効率が高く、スループットの高い学習を実現すること。

提案手法

• 32ビット学習のベースラインに対して、12ビット固定小数点および12ビット浮動小数点算術を、倍精度のCaffeフレームワークを用いてシミュレートし、値を12ビットに制限する。
• オーバーフローおよびアンダーフローを処理するために確率的丸めを適用し、確率的丸めにより最も近い表現可能な値に丸めることで期待値を保持する。
• コンテキスト・フロート（context float）を導入し、層やパラメータグループごとに指数範囲を動的に調整する局所的にスケーリングされた浮動小数点形式を採用する。
• パワー・オブ・ツー（Power-of-Two）ニューラルネットワークを提案し、出力と勾配を2の累乗値に制限することで、乗算の代わりにビットシフト演算を可能にする。
• 2の累乗値を7ビットで表現し、学習中の計算複雑性を顕著に低減する。
• すべての手法をCIFAR-10で学習するResNetに類似したアーキテクチャ上で評価し、精度、学習時間、リソース使用量を比較する。

実験結果

リサーチクエスチョン

• RQ1 CIFAR-10での学習において、確率的丸めを用いた12ビット固定小数点算術は、モデルの精度を維持できるか？
• RQ2 確率的丸めを用いた12ビット浮動小数点形式は、固定小数点形式よりも精度と安定性の面で優れているか？
• RQ3 浮動小数点または固定小数点形式における局所的スケーリングが、12ビットでさえも32ビットベースラインを超える精度を達成できるか？
• RQ4 ネットワークの出力と勾配を2の累乗値に制限することで、学習中に高コストな乗算や除算を排除できるか？
• RQ5 簡素化された数値表現を用いる際の、精度損失と性能向上のトレードオフは何か？

主な発見

• 確率的丸めを用いた12ビット固定小数点算術は、CIFAR-10での学習において顕著な精度の低下を引き起こし、学習フェーズには不適切である。
• 提案された確率的丸めを用いた12ビット浮動小数点形式は、32ビット浮動小数点学習のベースラインとほぼ同等の精度を達成し、最小限の低下で済む。
• 局所的にスケーリングされた浮動小数点（コンテキスト・フロート）アプローチにより、32ビットベースラインを2.42%上回る精度が達成され、動的範囲適応の利点が示された。
• パワー・オブ・ツー（Power-of-Two）ニューラルネットワーク表現により、乗算や除算をビットシフトに置き換えることで、学習時間とエネルギー消費が削減された。
• パワー・オブ・ツー（Power-of-Two）モデルは、主要パラメータに7ビットのみを用いることで、最小限の精度損失（無視できる低下）を実現し、メモリと計算のオーバーヘッドを顕著に削減した。
• 低精度算術とハードウェアフレンドリーな演算の組み合わせにより、モデル性能を損なわず、リソース制限のあるプラットフォームでも効率的な学習が可能になった。