[論文レビュー] Binary Weighted Memristive Analog Deep Neural Network for Near-Sensor Edge Processing

Olga Krestinskaya, Alex Pappachen James|arXiv (Cornell University)|Aug 2, 2018

Advanced Memory and Neural Computing参考文献 12被引用数 4

ひとこと要約

本論文では、低消費電力で面積効率の良いセンサ周辺エッジ推論を実現するため、2値状態のメモリスティブ素子を用いた2値重み付きメモリスティブアナログ深層ニューラルネットワークを提案する。クロスバー構造を用いて逆誤差伝搬による2値重み更新を実現することで、MNISTの手書き数字認識において約90%の精度を達成し、最小限のハードウェアコストでエネルギー効率の高いエッジAIの実現可能性を示した。

ABSTRACT

The memristive crossbar aims to implement analog weighted neural network, however, the realistic implementation of such crossbar arrays is not possible due to limited switching states of memristive devices. In this work, we propose the design of an analog deep neural network with binary weight update through backpropagation algorithm using binary state memristive devices. We show that such networks can be successfully used for image processing task and has the advantage of lower power consumption and small on-chip area in comparison with digital counterparts. The proposed network was benchmarked for MNIST handwritten digits recognition achieving an accuracy of approximately 90%.

研究の動機と目的

• メモリスティブ素子におけるスイッチング状態の制限がアナログニューラルネットワーク実装に与える課題に対処すること。
• 2値重み付きメモリスティブ素子を用いることで、エッジコンピューティングに適したエネルギー効率の高いオンチップ推論を実現すること。
• メモリスティブクロスバー上で2値重みを用いた逆誤差伝搬による学習可能なアナログDNNの設計。
• 最小限のハードウェアフットプリントで画像分類タスクのパフォーマンスをベンチマークすること。
• アナログで2値重み付きメモリスティブネットワークを用いたニアセンサ処理の実現可能性を示すこと。

提案手法

• クロスバー配列における重みを2値状態のメモリスティブ素子で表現し、アナログ計算を可能にする。
• 訓練中に重みを2値（±1）として更新するための修正された逆誤差伝搬アルゴリズムを適用する。
• 重みをメモリストロングに保持し、活性化関数の処理をアナログドメインでするハイブリッドアナログ・デジタルアーキテクチャを採用する。
• フル精度デジタル実装と比較して、消費電力と面積を削減するため、2値重み付きレイヤーを設計する。
• 2値重み制約下でも精度を維持できるよう、訓練プロセスを最適化する。
• 完全結合型深層ニューラルネットワークを用いて、MNIST上でアーキテクチャを検証する。

実験結果

リサーチクエスチョン

• RQ1 2値重み付きメモリスティブクロスバーは、学習可能なアナログ深層ニューラルネットワークを効果的に実装できるか？
• RQ2 2値重み付きメモリスティブDNNの精度は、フル精度デジタル実装と比較して画像タスクでどの程度の差があるか？
• RQ3 エッジAIハードウェアにおいて、2値状態のメモリストロングを用いることで得られる消費電力および面積の利点は何か？
• RQ4 メモリスティブクロスバー構造において、逆誤差伝搬を2値重み更新に効果的に適応できるか？
• RQ5 2値重みを用いたアナログ計算は、どの程度までニアセンサエッジ推論を可能にするか？

主な発見

• 提案された2値重み付きメモリスティブDNNは、MNIST手書き数字認識ベンチマークで約90%の精度を達成した。
• 2値重み表現とアナログメモリ内計算のおかげで、デジタル実装と比較して顕著な消費電力および面積効率を示した。
• 実際のデバイスにおけるスイッチング状態の制限にもかかわらず、2値状態のメモリストロングの使用が実用的実装を可能にした。
• 逆誤差伝搬によるエンドツーエンドの訓練が可能であり、2値重み付きアナログフレームワークにおける学習の実現可能性が検証された。
• データ移動およびオンチップメモリ要件を最小限に抑えることで、ニアセンサ処理を実現できる。
• 結果から、2値重み付きアナログネットワークが、エッジAIアプリケーションにおける低ハードウェアコストで許容できる精度を達成できることを確認した。