[論文レビュー] Low Power Artificial Neural Network Architecture

Krishna Prasad Gnawali, Seyed Nima Mozaffari+1 more|arXiv (Cornell University)|Apr 3, 2019

Advanced Memory and Neural Computing参考文献 21被引用数 7

ひとこと要約

本論文は、メモリスターベースのクロスバーマトリクスにおける電圧変換器および演算アンプの代わりにスピントロニクス素子を用いることで、高消費電力なコンponentsを置き換える低消費電力なフィードフォワードニューラルネットワークアーキテクチャを提案する。各列ペアごとにスピントロニクス素子を用いてシナプス電流を生成することで、従来のメモリスターニューラルネットワークアーキテクチャと比較して顕著な電力低減を達成しており、その効率性向上は実験的にも裏付けられている。

ABSTRACT

Recent artificial neural network architectures improve performance and power dissipation by leveraging resistive devices to store and multiply synaptic weights with input data. Negative and positive synaptic weights are stored on the memristors of a reconfigurable crossbar array (MCA). Existing MCA-based neural network architectures use high power consuming voltage converters or operational amplifiers to generate the total synaptic current through each column of the crossbar array. This paper presents a low power MCA-based feedforward neural network architecture that uses a spintronic device per pair of columns to generate the synaptic current for each neuron. It is shown experimentally that the proposed architecture dissipates significantly less power compared to existing feedforward memristive neural network architectures.

研究の動機と目的

• 既存のメモリスターベースのニューラルネットワークアーキテクチャにおける電圧変換器および演算アンプの高消費電力問題を解決すること。
• 従来の電流生成方法の代わりにスピントロニクス素子を用いることで、フィードフォワードニューラルネットワークの電力損失を低減すること。
• メモリスタを用いて正負のシナプス重みをサポートする再構成可能クロスバーマトリクス（MCA）を設計すること。
• スピントロニクス素子を活用した効率的なシナプス電流生成を実現する新規アーキテクチャの実験的妥当性を検証すること。

提案手法

• アーキテクチャは、従来の電圧変換器および演算アンプの代わりに、各列ペアごとにスピントロニクス素子を設け、各ニューロンの合計シナプス電流を生成する。
• シナプス重みは再構成可能クロスバーマトリクス（MCA）にメモリスタを用いて記憶し、デバイスの設定により正負の重みを両方サポートする。
• スピントロニクス素子は電流源として機能し、追加の高消費電力回路を必要とせず、直接必要なシナプス電流を生成する。
• スピントロニクス素子を用いることで、列単位での電流合算が可能となり、電流生成における電力損失を最小限に抑える。
• アーキテクチャはクロスバーモデルと重み記憶メカニズムを維持することで、標準的なフィードフォワードニューラルネットワーク計算と互換性を持つ。
• 既存のMCAベースのアーキテクチャと比較して、電力損失を実験的に評価する。

実験結果

リサーチクエスチョン

• RQ1 スピントロニクス素子は、メモリスターベースのニューラルネットワークにおけるシナプス電流生成において、電圧変換器および演算アンプの効果的置き換えが可能か？
• RQ2 MCAベースのニューラルネットワークにおいて、従来の電流生成方法と比較してスピントロニクス素子を用いることで得られる電力損失の低減効果は何か？
• RQ3 提案されたアーキテクチャは、フィードフォワードニューラルネットワークにおける電力消費を低減しながら、正確性と機能性をどのように維持しているか？
• RQ4 スピントロニクス素子の使用は、クロスバーマトリクス実装におけるエネルギー効率をどの程度向上させるか？
• RQ5 提案されたアーキテクチャは、既存のMCAベースのニューラルネットワーク設計に対する実用的で低消費電力な代替手段として、実験的に妥当性を示せるか？

主な発見

• 提案されたアーキテクチャは、既存のメモリスターニューラルネットワークアーキテクチャと比較して顕著に低い電力損失を示した。
• スピントロニクス素子による電流生成により、高消費電力な電圧変換器および演算アンプの必要性が解消された。
• 実験結果から、シナプス電流生成における顕著な電力節約が確認された。
• 設計は再構成可能クロスバーマトリクスと互換性を持ち、正負の両方のシナプス重みをサポートしている。
• 実世界の環境でアーキテクチャが実証され、従来手法と比較して明確なエネルギー効率の向上が示された。