[論文レビュー] An Area and Energy Efficient Design of Domain-Wall Memory-Based Deep Convolutional Neural Networks using Stochastic Computing

Xiaolong Ma, Yipeng Zhang+6 more|arXiv (Cornell University)|Feb 3, 2018

Error Correcting Code Techniques参考文献 28被引用数 3

ひとこと要約

本稿では、確率的計算（SC）とドメインウォールメモリ（DWM）を用いた、面積およびエネルギー効率に優れた深層畳み込みニューラルネットワーク（DCNNs）のための、初めての包括的最適化フレームワークであるDW-CNNを提案する。SRAMに代えて高密度で非可逆的なDWMを重み保存に用い、メモリの精度、構成、リソース共有を最適化することで、アプリケーションレベルの精度を維持したまま、面積を最大52.6%削減し、消費電力を17.35倍低減した（例：1024ビットの確率的ストリームを用いたLeNet-5では99.01%の高精度を達成）。

ABSTRACT

With recent trend of wearable devices and Internet of Things (IoTs), it becomes attractive to develop hardware-based deep convolutional neural networks (DCNNs) for embedded applications, which require low power/energy consumptions and small hardware footprints. Recent works demonstrated that the Stochastic Computing (SC) technique can radically simplify the hardware implementation of arithmetic units and has the potential to satisfy the stringent power requirements in embedded devices. However, in these works, the memory design optimization is neglected for weight storage, which will inevitably result in large hardware cost. Moreover, if conventional volatile SRAM or DRAM cells are utilized for weight storage, the weights need to be re-initialized whenever the DCNN platform is re-started. In order to overcome these limitations, in this work we adopt an emerging non-volatile Domain-Wall Memory (DWM), which can achieve ultra-high density, to replace SRAM for weight storage in SC-based DCNNs. We propose DW-CNN, the first comprehensive design optimization framework of DWM-based weight storage method. We derive the optimal memory type, precision, and organization, as well as whether to store binary or stochastic numbers. We present effective resource sharing scheme for DWM-based weight storage in the convolutional and fully-connected layers of SC-based DCNNs to achieve a desirable balance among area, power (energy) consumption, and application-level accuracy.

研究の動機と目的

• SCベースのDCNNにおけるメモリの高コストおよび高消費電力、特に全結合層における重み保存の課題に対処する。
• 電源投入後に再初期化を要する可逆的SRAM/DRAMの制限を克服するため、非可逆的ドメインウォールメモリ（DWM）を採用する。
• SCベースのDCNNにおけるDWMベースの重み保存のための包括的最適化フレームワークを設計し、面積とエネルギーを最小限に抑えつつアプリケーションレベルの精度を保持する。
• DWMにおける重み表現の最適なメモリタイプ、精度、構成、データ形式（2進数対確率的表現）を調査する。
• 畳み込み層および全結合層におけるDWMベースの重み保存のための効果的なリソース共有方式を開発し、面積、消費電力、精度のバランスを最適化する。

提案手法

• 高密度で非可逆的なスピントロニクスメモリであるドメインウォールメモリ（DWM）を採用し、SCベースのDCNNにおける重み保存に従来のSRAMに代えて用いる。
• 異なる精度レベル（例：7ビット2進数、32〜1024ビットの確率的ストリーム）およびメモリタイプを評価することで、面積とエネルギーを最小限に抑えるメモリ構成を最適化する。
• 畳み込み層および全結合層におけるDWMベースの重み保存のためのリソース共有方式を実装し、冗長な回路を削減する。
• 算術演算部（内積や活性化関数など）の面積と消費電力を削減するため、確率的計算（SC）を用いる。
• 全結合層における複数の重み行列にわたるDWMの読み取り／書き込み回路を共有することで、面積とエネルギーのオーバーヘッドを最小限に抑える。
• CACTI（SRAM）およびSynopsys Design Compiler（論理回路）のハードウェアパラメータ、および先行研究からのDWMパラメータを用いて、MNISTデータセットを用いたLeNet-5上でフレームワークを評価する。

実験結果

リサーチクエスチョン

• RQ1 SCベースのDCNNにおける重み保存に最適なメモリタイプ（DWM 対 SRAM）は、面積およびエネルギー効率の観点からどれか？
• RQ2 DWMベースのSC-DCNNにおいて、重みを2進数ではなく確率的数値として保存することは、面積、消費電力、アプリケーションレベルの精度にどのように影響するか？
• RQ3 高精度を維持しつつハードウェアコストを最小限に抑えるために、確率的重み表現の最適な精度（ビットストリーム長）は何か？
• RQ4 DWMベースの重み保存におけるリソース共有は、全結合層の面積および消費電力を低減するためにどれほど効果的か？
• RQ5 DWMベースの重み保存は、電源投入後の再初期化を不要とし、真のプラグアンドプレイ動作を可能にするDCNNプラットフォームをどの程度実現できるか？

主な発見

• SCベースのDCNNにおけるDWMを用いた重み保存により、全結合層において共有されていないDWM構成と比較して、面積を最大52.6%削減し、消費電力を17.35倍低減した。
• DWMにおける重みの確率的表現は、2進数表現よりも面積および消費電力をより効果的に削減でき、特にビットストリーム長が長くなるほど顕著である。
• 1024ビットの確率的重みストリームを用いてもアプリケーションレベルの精度は高い（例：LeNet-5では99.01%）、256ビットストリームでも98.95%の精度を達成しており、効率性を高めるために短いストリームの使用が有効であることを示唆している。
• SRAMおよび長いビットストリームでは消費電力が著しく増加するが、DWMではリーク電力が低く高密度であるため、消費電力はほぼ一定を保つ。
• リソース共有方式により、DWMの読み取り／書き込み回路およびAPC（累積型積算器ベースの積算）ブロックの数を最小限に抑え、面積と消費電力を削減した。
• DWMは非可逆的重み保存を可能にし、電源投入後の再初期化を不要とし、埋め込み型DCNNシステムにおける真のプラグアンドプレイ動作を実現した。