[論文レビュー] Flexpoint: An Adaptive Numerical Format for Efficient Training of Deep Neural Networks

Urs Köster, Tristan J. Webb+12 more|arXiv (Cornell University)|Nov 6, 2017

Model Reduction and Neural Networks参考文献 11被引用数 166

ひとこと要約

Flexpointは、 Autoflexによって管理される、ディープネットの学習用に16ビットの仮数部と5ビットの共有指数形式を持つ。AlexNet、ResNet、WGANにおいてハイパーパラメータ変更なしで32ビットFP訓練と同等の性能を達成。

ABSTRACT

Deep neural networks are commonly developed and trained in 32-bit floating point format. Significant gains in performance and energy efficiency could be realized by training and inference in numerical formats optimized for deep learning. Despite advances in limited precision inference in recent years, training of neural networks in low bit-width remains a challenging problem. Here we present the Flexpoint data format, aiming at a complete replacement of 32-bit floating point format training and inference, designed to support modern deep network topologies without modifications. Flexpoint tensors have a shared exponent that is dynamically adjusted to minimize overflows and maximize available dynamic range. We validate Flexpoint by training AlexNet, a deep residual network and a generative adversarial network, using a simulator implemented with the neon deep learning framework. We demonstrate that 16-bit Flexpoint closely matches 32-bit floating point in training all three models, without any need for tuning of model hyperparameters. Our results suggest Flexpoint as a promising numerical format for future hardware for training and inference.

研究の動機と目的

• トポロジーやハイパーパラメータを変更せずに、共有指数を持つ固定小数点風の形式が現代のニューラルネットワークを訓練できることを実証する。
• 訓練中のオーバーフローを防ぎ、テンソルの指数を動的に管理するAutoflexを開発する。
• 代表的なアーキテクチャでFlexpointを評価し、訓練性能を32ビット浮動小数点と比較する。

提案手法

• テンソルが共通の指数を共有し、固定された仮数部を維持するflexN+Mデータ形式を提案する。
• テンソル統計に基づいて演算ごとに出力指数を予測・調整するAutoflexを導入する。
• 指数を設定する初期化手順と、訓練中のミニバッチごとに2段階のスケーリング更新を使用する。
• Flexpointの演算をGPUカーネルへマッピングし、内部でfloat32計算を行うint16を用いたシミュレータ実験で検証する。
• 複数モデルでFP32およびFP16のベースラインと比較して訓練ダイナミクスと最終性能を比較する。

実験結果

リサーチクエスチョン

• RQ1 共有指数・固定小数点風の形式が、ハイパーパラメータを変更せずに、多様なネットワークでFP32の訓練と同等の性能を達成できるか。
• RQ2 訓練中のオーバーフローを防ぎ、ダイナミックレンジを効率的に活用する指数管理戦略（Autoflex）はどう実現できるか。
• RQ3 ResNetやGANのような難易度の高いモデルで、固定小数点風の形式はFP32と比べて訓練品質を低下させるか。
• RQ4 CNNsとGANsに対する収束と最終精度に関するFlexpointの経験的影響は何か。

主な発見

• Flexpointはflex16+5で、AlexNet、CIFAR-10のResNet-110、LSUNのWasserstein GANの訓練性能をFP32にほぼ近づける。
• これらのモデルでは、調整なしのFP16はFP32およびFlexpointと比べて性能が劣る。
• Autoflexは指数を予測・調整してオーバーフローを防ぎ、ハイパーパラメータ変更なしで安定した訓練を可能にする。
• 実験はGPUベースのFlexpointシミュレータを用い、FP32と同等の訓練ダイナミクスとFP16よりも安定性が高いことを示した。
• Flexpointは多くの演算を固定小数点様の演算に変換することによりハードウェア効率を提供しつつ、アルゴリズムのFP32と同等性を維持する。