[論文レビュー] SC-DCNN: Highly-Scalable Deep Convolutional Neural Network using Stochastic Computing

Ao Ren, Ji Li+6 more|arXiv (Cornell University)|Nov 18, 2016

Error Correcting Code Techniques参考文献 35被引用数 35

ひとこと要約

本稿では、深層畳み込みニューラルネットワーク（DCNN）を確率的計算（SC）を用いて実装する初の包括的フレームワーク、SC-DCNNを提案する。これにより、超低ハードウェアフットプリントと高いエネルギー効率を達成する。SCがANDゲートとMUXゲートを用いて乗算と加算を単純な論理ゲートで実行できる能力を活用し、SC-DCNNは内積、プーリング、活性化関数の最適化された機能ブロックを設計し、特徴抽出ユニットを統合的に最適化し、効率的な重み保存を採用する。その結果、LeNet5の実装は17 mm²の面積と1.53 Wの消費電力で実現され、781,250枚/秒のスループットと510,734枚/Jのエネルギー効率を達成した。

ABSTRACT

With recent advancing of Internet of Things (IoTs), it becomes very attractive to implement the deep convolutional neural networks (DCNNs) onto embedded/portable systems. Presently, executing the software-based DCNNs requires high-performance server clusters in practice, restricting their widespread deployment on the mobile devices. To overcome this issue, considerable research efforts have been conducted in the context of developing highly-parallel and specific DCNN hardware, utilizing GPGPUs, FPGAs, and ASICs. Stochastic Computing (SC), which uses bit-stream to represent a number within [-1, 1] by counting the number of ones in the bit-stream, has a high potential for implementing DCNNs with high scalability and ultra-low hardware footprint. Since multiplications and additions can be calculated using AND gates and multiplexers in SC, significant reductions in power/energy and hardware footprint can be achieved compared to the conventional binary arithmetic implementations. The tremendous savings in power (energy) and hardware resources bring about immense design space for enhancing scalability and robustness for hardware DCNNs. This paper presents the first comprehensive design and optimization framework of SC-based DCNNs (SC-DCNNs). We first present the optimal designs of function blocks that perform the basic operations, i.e., inner product, pooling, and activation function. Then we propose the optimal design of four types of combinations of basic function blocks, named feature extraction blocks, which are in charge of extracting features from input feature maps. Besides, weight storage methods are investigated to reduce the area and power/energy consumption for storing weights. Finally, the whole SC-DCNN implementation is optimized, with feature extraction blocks carefully selected, to minimize area and power/energy consumption while maintaining a high network accuracy level.

研究の動機と目的

• 埋め込み型およびモバイルIoTデバイスにソフトウェアベースのDCNNをデプロイする際の高い消費電力とハードウェアコストを低減すること。
• 確率的計算（SC）を新たなパラダイムとして活用し、DCNNアクセラレータにおける超低ハードウェアフットプリントと高いエネルギー効率を実現すること。
• 最小限の面積と消費電力で実現するため、関数ブロック、特徴抽出、重み保存を最適化する、SCベースのDCNN向け包括的でボトムアップなフレームワークを設計すること。
• スケーラブルな最適化と誤差補償を組み合わせることで、スケーリング演算の固有の不正確性にもかかわらず高いネットワーク精度を維持すること。

提案手法

• ANDゲートとMUXゲートを用いて低複雑度の算術演算を実現できるように、実数を[-1, 1]の範囲でビットストリームとして表現する確率的計算を用いる。
• DCNNのコア演算である内積（ドット積）、最大プーリング、平均プーリング、活性化関数（例：ReLU）をSCドメインで実装する専用ハードウェアブロックを設計する。
• 入力ビットストリーム長と論理互換性に合わせた構成を最適化した4種類の統合的特徴抽出ブロックアーキテクチャを提案する。
• SRAMの面積と消費電力を最小限に抑えるために、ビットスライシング、重みグループ化、ビット反転符号化の3つの重み保存最適化方式を導入する。
• 関数ブロックタイプ、プーリング手法、構成パrameterの設計空間を探索するボトムアップ設計手法を採用する。
• LeNet5を用いた実験的評価を通じて、複数の構成におけるフレームワークの性能、面積、消費電力、エネルギー効率を検証する。

実験結果

リサーチクエスチョン

• RQ1 確率的計算を用いて、大幅に小型化されたハードウェアフットプリントと低消費電力でDCNNを実装することが可能か？
• RQ2 内積、プーリング、活性化関数といったDCNNのコア演算を、確率的計算ドメインで効率的かつ正確に実現する方法は何か？
• RQ3 SCベースのDCNNにおいて、正確性、面積、消費電力効率のバランスを最適化する特徴抽出ブロックの最適構成は何か？
• RQ4 異なる重み保存方式が、SC-DCNNの面積とエネルギー効率にどのように影響を与えるか？
• RQ5 スケーリング演算の固有の近似誤差を考慮しても、SC-DCNNはどれほど高いネットワーク精度を維持できるか？

主な発見

• SC-DCNNフレームワークは、17 mm²の面積と1.53 Wの消費電力でLeNet5の実装を達成し、埋め込み型システムへの超コンパactsなデプロイを可能にした。
• 提案されたSC-DCNNは、781,250枚/秒のスループットに達し、リアルタイム推論における高い計算効率を示した。
• フレームワークは、面積効率45,946枚/s/mm²およびエネルギー効率510,734枚/Jを達成し、従来のGPUおよびCPUプラットフォームを著しく上回った。
• Nvidia Tesla C2075と比較して、SC-DCNN（No.11）はスループットで15,625倍、エネルギー効率で159,604倍高い。
• MUXベースの特徴抽出ブロックを用いた構成は、最小の面積と消費電力であったが、APCベースのブロックはより高い正確性を示し、アプリケーションのニーズに応じたトレードオフが可能となった。
• スケーリング演算によって生じる不正確性が層をまたいで相殺されることが示され、より大きなネットワークへのスケーラビリティとさらなる効率向上の可能性が示唆された。