[論文レビュー] Neural gradients are lognormally distributed: understanding sparse and quantized training.

Brian Chmiel, Liad Ben-Uri+4 more|arXiv (Cornell University)|Jun 15, 2020

Advanced Neural Network Applications参考文献 26被引用数 2

ひとこと要約

この論文は、ニューラル勾配が対数正規分布に従うことを明らかにし、2つの新しい圧縮技術を可能にした：確率的勾配プルーニング（ResNet18/ImageNetで精度低下なしに最大85％のスパarsityを達成）および最適化された低精度浮動小数点形式（例：FP8）。これにより、メモリと計算のオーバーヘッドを低減しながらトレーニング効率が向上し、従来の数値精度とスケーリングに関する観察結果を説明できる。

ABSTRACT

Neural gradient compression remains a main bottleneck in improving training efficiency, as most existing neural network compression methods (e.g., pruning or quantization) focus on weights, activations, and weight gradients. However, these methods are not suitable for compressing neural gradients, which have a very different distribution. Specifically, we find that the neural gradients follow a lognormal distribution. Taking this into account, we suggest two methods to reduce the computational and memory burdens of neural gradients. The first one is stochastic gradient pruning, which can accurately set the sparsity level -- up to 85% gradient sparsity without hurting validation accuracy (ResNet18 on ImageNet). The second method determines the floating-point format for low numerical precision gradients (e.g., FP8). Our results shed light on previous findings related to local scaling, the optimal bit-allocation for the mantissa and exponent, and challenging workloads for which low-precision floating-point arithmetic has reported to fail. Reference implementation accompanies the paper.

研究の動機と目的

• 重みと活性化に注目する既存の圧縮手法では非効率であり、勾配は独自の統計的性質を持つため、これを無視している点に起因する。
• 従来の圧縮研究で無視されてきたニューラル勾配の背後にある分布を理解すること。
• ディープラーニングトレーニング中のメモリおよび計算コストを低減する実用的な勾配圧縮技術を開発すること。
• 低精度トレーニングにおける長年の観察結果（例：ローカルスケーリングの必要性、仮数部と指数部への最適ビット配分）を説明すること。

提案手法

• 複数のモデルとデータセットを対象とした実証的分析により、ニューラル勾配が対数正規分布に従うことを特定する。
• 確率的勾配プルーニングを提案し、85％までのスパarsityを達成するが、精度低下なしに、対数正規分布の尾部特性を活用してスパarsityレベルを正確に設定する。
• 対数正規分布に基づく浮動小数点フォーマット選択戦略を設計し、低精度勾配（例：FP8）における指数部と仮数部へのビット配分を最適化する。
• 対数正規モデルを用いて最適なスケーリング係数と数値範囲を導出し、低精度トレーニングにおける安定性を向上させる。
• ResNet18とImageNetを用いて手法を検証し、スパarsityおよび精度レベルの変化に対しても堅牢性を示した。

実験結果

リサーチクエスチョン

• RQ1 なぜ既存の勾配圧縮手法は、精度低下を伴わずに高いスパarsityや低精度を達成できないのか？
• RQ2 バックプロパゲーション中のニューラル勾配の大きさの背後にある統計的分布は何か？
• RQ3 モデル性能の劣化を伴わずに、勾配スパarsityを正確に制御する方法は何か？
• RQ4 低精度勾配表現における指数部と仮数部への最適ビット配分は何か？
• RQ5 本研究の発見は、なぜローカルスケーリングが必要で、特定のワークロードでは低精度演算が失敗するのかをどのように説明できるか？

主な発見

• 複数のディープラーニングモデルとデータセットにおいて、ニューラル勾配が実証的に対数正規分布に従うことが示された。
• 確率的勾配プルーニングは、ImageNetでトレーニングされたResNet18において、精度低下なしに最大85％のスパarsityを達成した。
• 対数正規分布のおかげで、勾配スパarsityを正確に制御でき、圧縮レベルの体系的探索が可能になった。
• 対数正規モデルを用いることで、FP8のような最適な低精度フォーマットを導出でき、数値的安定性と効率性が向上した。
• 本研究の発見は、なぜ低精度トレーニングでローカルスケーリングが必要で、特定のワークロードが精度損失に対して感受的であるかを説明できた。