[論文レビュー] AdderNet and its Minimalist Hardware Design for Energy-Efficient Artificial Intelligence

Yunhe Wang, Mingqiang Huang+5 more|arXiv (Cornell University)|Jan 25, 2021

Advanced Memory and Neural ComputingEngineering参考文献 40被引用数 22

ひとこと要約

この論文では、従来の乗算ベースの畳み込みを加算のみの演算に置き換えることで、顕著なエネルギー効率とハードウェア効率を実現する新しいニューラルネットワークアーキテクチャ、AdderNetを提案する。int8/int16の量子化と最小限のFPGAアクセラレータ設計を組み合わせることで、AdderNetはCNNと比較して最大77.9%の低消費電力、67.6%の論理リソース削減を達成しながら、ImageNetおよびCIFAR-10ベンチマークで同等の精度を維持する。

ABSTRACT

Convolutional neural networks (CNN) have been widely used for boosting the performance of many machine intelligence tasks. However, the CNN models are usually computationally intensive and energy consuming, since they are often designed with numerous multiply-operations and considerable parameters for the accuracy reason. Thus, it is difficult to directly apply them in the resource-constrained environments such as 'Internet of Things' (IoT) devices and smart phones. To reduce the computational complexity and energy burden, here we present a novel minimalist hardware architecture using adder convolutional neural network (AdderNet), in which the original convolution is replaced by adder kernel using only additions. To maximally excavate the potential energy consumption, we explore the low-bit quantization algorithm for AdderNet with shared-scaling-factor method, and we design both specific and general-purpose hardware accelerators for AdderNet. Experimental results show that the adder kernel with int8/int16 quantization also exhibits high performance, meanwhile consuming much less resources (theoretically ~81% off). In addition, we deploy the quantized AdderNet on FPGA (Field Programmable Gate Array) platform. The whole AdderNet can practically achieve 16% enhancement in speed, 67.6%-71.4% decrease in logic resource utilization and 47.85%-77.9% decrease in power consumption compared to CNN under the same circuit architecture. With a comprehensive comparison on the performance, power consumption, hardware resource consumption and network generalization capability, we conclude the AdderNet is able to surpass all the other competitors including the classical CNN, novel memristor-network, XNOR-Net and the shift-kernel based network, indicating its great potential in future high performance and energy-efficient artificial intelligence applications.

研究の動機と目的

• IoTやモバイルデバイスなどのリソース制約のある環境におけるディープラーニングモデルの高いエネルギー消費と計算コストを低減すること。
• 従来のCNNでエネルギー集約的である乗算累積（MAC）演算に依存しないようにすること。
• 加算ベースのニューラルネットワークに特化した最小限のエネルギー効率の高いハードウェアアクセラレータを設計すること。
• 加算のみの計算フレームワーク内で、低精度量子化（int8/int16）を用いても高い精度を達成すること。
• XNOR-Net、メモリスティブネットワーク、シフトベースのネットワークなど、既存の代替手法と比較して優れた性能と効率を実証すること。

提案手法

• 標準的な畳み込み層を、入力特徴マップと学習可能なカーネル重みの絶対差の和として出力を計算するアダー核に置き換える。
• 低ビット（int8/int16）推論を可能にしつつモデル精度を維持するための共有スケーリング要因量子化法を実装する。
• 効率的な加算ベースの計算を実現するための2A（二つのアダー）アーキテクチャを用いたFPGAベースの専用ハードウェアアクセラレータを設計する。
• 乗算器の削除と複雑な論理の低減により、論理領域と消費電力の最小化を図る。
• FPGA上にAdderNetをデプロイし、標準CNNと同一の回路制約下でベンチマークを実施することで、公平な比較を可能にする。
• 絶対差演算の微分可能近似を用いた標準的なバックプロパゲーションにより、AdderNetを学習および微調整する。

実験結果

リサーチクエスチョン

• RQ1 加算のみのニューラルネットワークアーキテクチャは、計算エネルギーを著しく削減しながらも、標準CNNと同等の精度を達成できるか？
• RQ2 低ビット量子化（int8/int16）は、アダー基盤のネットワークの性能とエネルギー効率にどのように影響するか？
• RQ3 FPGA上にAdderNetを実装した場合、従来のCNNと比較してハードウェアリソースと消費電力のオーバーヘッドはどの程度か？
• RQ4 XNOR-Net、DeepShift、メモリスティブベースのネットワークなど、他の最先端のエネルギー効率の良いネットワークと比較して、AdderNetの効率性と精度はどのように異なるか？
• RQ5 共有スケーリング要因量子化法は、低ビット幅で顕著な劣化を引き起こさずに、モデル精度を効果的に保持できるか？

主な発見

• int8/int16量子化を用いたAdderNetは高い精度を維持し、ImageNet-1Kでは76.6%のTop-1精度、CIFAR-10では91.78%のTop-1精度を達成し、フル精度CNNと同等の性能を示す。
• FPGA上では、AdderNetは推論速度が16%向上し、論理リソース使用量が67.6%～71.4%削減され、消費電力が47.85%～77.9%削減される。
• 2Aハードウェアアーキテクチャにより、コンパレータよりも回路複雑性が低く、効率的な加算計算が可能になり、面積と消費電力のオーバーヘッドが削減される。
• XNOR-Net、DeepShift、メモリスティブネットワーク、シフトカーネルネットワークと比較して、エネルギー効率、ハードウェアフットプリント、低精度設定下での精度保持の観点でAdderNetが優れている。
• 共有スケーリング要因量子化法により、int8およびint16では安定した性能が得られるが、4ビット精度では情報損失のため精度が著しく低下する。
• 包括的なベンチマークにより、AdderNetが多様なエッジAIアプリケーションにおいて、性能、エネルギー効率、ハードウェアリソース使用量のバランスを優れて実現していることが確認された。