[論文レビュー] ShiftAddNet: A Hardware-Inspired Deep Network

Haoran You, Xiaohan Chen+6 more|arXiv (Cornell University)|Oct 24, 2020

Advanced Neural Network Applications参考文献 47被引用数 37

ひとこと要約

ShiftAddNetは、乗算を置換するビットシフトと加算層のみを用いてDNNを再定義し、エネルギー効率の高い訓練と推論を可能にし、標準的なネットワークと同等の精度を達成します。FPGAベースの測定は、性能を維持しつつエネルギーを大幅に削減することを示します。

ABSTRACT

Multiplication (e.g., convolution) is arguably a cornerstone of modern deep neural networks (DNNs). However, intensive multiplications cause expensive resource costs that challenge DNNs' deployment on resource-constrained edge devices, driving several attempts for multiplication-less deep networks. This paper presented ShiftAddNet, whose main inspiration is drawn from a common practice in energy-efficient hardware implementation, that is, multiplication can be instead performed with additions and logical bit-shifts. We leverage this idea to explicitly parameterize deep networks in this way, yielding a new type of deep network that involves only bit-shift and additive weight layers. This hardware-inspired ShiftAddNet immediately leads to both energy-efficient inference and training, without compromising the expressive capacity compared to standard DNNs. The two complementary operation types (bit-shift and add) additionally enable finer-grained control of the model's learning capacity, leading to more flexible trade-off between accuracy and (training) efficiency, as well as improved robustness to quantization and pruning. We conduct extensive experiments and ablation studies, all backed up by our FPGA-based ShiftAddNet implementation and energy measurements. Compared to existing DNNs or other multiplication-less models, ShiftAddNet aggressively reduces over 80% hardware-quantified energy cost of DNNs training and inference, while offering comparable or better accuracies. Codes and pre-trained models are available at https://github.com/RICE-EIC/ShiftAddNet.

研究の動機と目的

• ハードウェア設計原理に基づく乗算なし深層ネットワークを動機づけ、エネルギー消費を削減する。
• ビットシフトと加算の二層パラダイムを開発し、標準DNNと同様に表現力があり訓練可能であることを保証する。
• ShiftAddNetの訓練と推論アルゴリズムを、現実的なハードウェア実装とエネルギー測定と共に実証する。
• 量子化と剪定における精度、訓練効率、堅牢性のトレードオフを定量化する。

提案手法

• 標準ニューラルネットワークを畳み込み層と全結合層を乗算なしの二層（ビットシフトと加算）に置換して再パラメータ化する。
• ShiftAddNetパイプラインを宣言化して、表現能力を保つ。
• 両方の層のバックプロパゲーションルールを導出し、重み更新と勾配の流れを含む。
• 固定シフト層を用いたバリアントを提案し、粗い/細かな学習とエネルギー節約を探る。
• Zynq FPGA上でShiftAddNetを実装し、AdderNet、DeepShift、ConvNetと比較してエネルギー消費と精度を比較。

実験結果

リサーチクエスチョン

• RQ1 ハードウェアに着想を得たビットシフトと加算層の組み合わせは、標準DNNの表現力に匹敵しつつ、乗算を大幅に削減できるのか？
• RQ2 シフト・加算層は、訓練/推論のエネルギー、精度、量子化や剪定下の堅牢性をどうトレードオフするか？
• RQ3 シフト層を固定する、または加算層を疎にすることで、精度を犠牲にせずエネルギー効率を改善できるか？
• RQ4 実際のハードウェア（FPGA）上でShiftAddNetを展開する際の実用的な利得は、既存の乗算なしモデルと比較してどうなるか？

主な発見

• ShiftAddNetは、乗算ベースのネットワークおよび既存の乗算なしモデルと比べて同等かそれ以上の精度を保ちつつ、エネルギー効率の高い推論と訓練を達成する。
• 固定シフト層は、精度を犠牲にせず substantial energy savings をもたらすことがあり、量子化への堅牢性を向上させる場合もある。
• ShiftAddNetは、いくつかのベンチマークで AdderNet および DeepShift より量子化と剪定への堅牢性が向上。
• FPGA実装は、訓練と推論のエネルギーコストを大幅に削減する実測を提供し、性能を維持。
• ハイブリッドなシフトと加算の設計は、シフトのみまたは加算のみのアプローチより表現力が高い。