[論文レビュー] WrapNet: Neural Net Inference with Ultra-Low-Resolution Arithmetic

Renkun Ni, H.M. Chu+4 more|arXiv (Cornell University)|Jul 26, 2020

Advanced Neural Network Applications参考文献 26被引用数 6

ひとこと要約

WrapNet は、微分可能な循環活性化関数とオーバーフロー正則化項を導入することで、8ビットの超低解像度積算器を用いたニューラルネットワーク推論を可能にし、整数オーバーフローに対して耐性を持つネットワークを実現する。このアプローチにより、ソフトウェアで最大2.4倍の高速化、カスタムハードウェアで5倍以上のエネルギー効率向上が達成され、32ビット精度と同等の精度を最小限の精度損失で維持する。

ABSTRACT

Low-resolution neural networks represent both weights and activations with few bits, drastically reducing the multiplication complexity. Nonetheless, these products are accumulated using high-resolution (typically 32-bit) additions, an operation that dominates the arithmetic complexity of inference when using extreme quantization (e.g., binary weights). To further optimize inference, we propose a method that adapts neural networks to use low-resolution (8-bit) additions in the accumulators, achieving classification accuracy comparable to their 32-bit counterparts. We achieve resilience to low-resolution accumulation by inserting a cyclic activation layer, as well as an overflow penalty regularizer. We demonstrate the efficacy of our approach on both software and hardware platforms.

研究の動機と目的

• 量子化ニューラルネットワークにおける高精度（32ビット）積算のボトルネックに対処すること。これは、低精度の重みと活性化とは対照的に、算術コストの大部分を占める。
• ソフトウェアおよびカスタムハードウェアの両方で、超低解像度（8ビット）積算器を効率的に使用して推論を可能にし、消費電力と面積を削減すること。
• 低精度積算器における整数オーバーフローに対しても分類精度を維持できるように、ネットワークがオーバーフローの影響に耐性を持つようにすること。
• 一般プロセッサ上でベクトル命令が利用できない状況でも、8ビット演算のビットパッキングをサポートするトレーニングおよび推論パイプラインを設計すること。
• 8ビット積算器を用いたソフトウェア最適化カーネルおよびカスタムハードウェアアクセラレータにおいて、顕著なパフォーマンスおよび効率性の向上を実証すること。

提案手法

• 表現可能な整数の範囲（max - min）と等しい周期を持つ微分可能な循環活性化関数を導入し、積算中のオーバーフローに対してもネットワークが耐性を持つようにする。
• トレーニング中にオーバーフローペナルティ正則化項を適用し、ビットパックされた整数演算におけるキャリーアービファクトの影響を最小限に抑える。
• 複数の8ビット整数を1つの32ビットレジスタにパックすることで、一般プロセッサ上で並列演算を可能にする。
• Gemmlowp ライブラリを変更し、8ビット積算器をサポートさせ、ベクトル命令を備えたプロセッサ上で効率的なソフトウェア推論を実現する。
• 28nm CMOSプロセスを用いたカスタムMACユニットを設計・評価し、32ビット積算器設計と比較して面積、サイクル時間、エネルギー効率を検証する。
• 低精度積算に適応するハードウェアに配慮したトレーニング戦略を設計し、オーバーフローが生じても精度が保たれるようにネットワーク動作を調整する。

実験結果

リサーチクエスチョン

• RQ1 推論時に32ビット積算器の代わりに8ビット積算器を使用しても、整数オーバーフローが生じるにもかかわらず、ニューラルネットワークが高精度を維持できるか？
• RQ2 ベクトル命令が利用できないソフトウェア環境において、8ビット整数のビットパッキングを効率的かつ正確に実現する方法は何か？
• RQ3 カスタムハードウェアアクセラレータにおいて、積算ビット幅を32ビットから8ビットに低下させた場合、サイクル時間、面積、エネルギー効率にどのような影響が生じるか？
• RQ4 微分可能な循環活性化関数は、低精度積算器におけるオーバーフローに対してネットワークを効果的に耐性を持たせられるか？
• RQ5 低精度積算は、ソフトウェアおよびハードウェアプラットフォームの両方で推論速度と効率をどの程度向上できるか？

主な発見

• ベクトル命令を備えたプロセッサ上では、8ビット積算器を搭載した修正版 Gemmlowp カーネルを用いることで、ソフトウェア推論で最大2.4倍の高速化が達成された。
• ベクトル命令が利用できない環境では、オーバーフローペナルティ正則化項によるキャリービットの緩和を伴うビットパッキングにより、ResNet-18の畳み込み層で2.8倍から4.3倍の高速化が達成された。
• カスタム28nm CMOSハードウェアでは、積算器の解像度を32ビットから8ビットに低下させることで、積算器部の面積と消費電力をそれぞれ8倍以上、5倍以上削減した。
• 8ビット積算器設計は、32ビット設計と比較して、合計MACユニットのエネルギー効率を最大3倍、面積効率を最大5倍向上させた。
• 循環活性化関数により、極端な量子化下でも32ビット精度モデルと同等の分類精度を維持できることが確認された。
• ハードウェア解析から、サイクル時間の主なボトルネックは乗算器ではなく積算器であることが判明し、低精度積算がパフォーマンス向上に不可欠であることが示された。