[論文レビュー] Computing with hardware neurons: spiking or classical? Perspectives of applied Spiking Neural Networks from the hardware side

Sergei Dytckov, Masoud Daneshtalab|arXiv (Cornell University)|Feb 5, 2016

Advanced Memory and Neural Computing参考文献 26被引用数 3

ひとこと要約

この論文は、ハードウェアのエネルギー効率の観点から、スパイクニューロンネットワークと古典的ニューラルネットワークを比較しており、スパイクハードウェアは基本的な演算において古典的システムと同等またはそれを上回ることを示しているが、過剰なスパイク表現に起因するシステムレベルの非効率性が性能を制限している。主な発見は、スパイク数を最小限に抑えるスパイク駆動型アプリケーションによりエネルギーギャップを埋められることだが、現在のシステムはスパイク量に起因するボトルネックに直面していることである。

ABSTRACT

While classical neural networks take a position of a leading method in the machine learning community, spiking neuromorphic systems bring attention and large projects in neuroscience. Spiking neural networks were shown to be able to substitute networks of classical neurons in applied tasks. This work explores recent hardware designs focusing on perspective applications (like convolutional neural networks) for both neuron types from the energy efficiency side to analyse whether there is a possibility for spiking neuromorphic hardware to grow up for a wider use. Our comparison shows that spiking hardware is at least on the same level of energy efficiency or even higher than non-spiking on a level of basic operations. However, on a system level, spiking systems are outmatched and consume much more energy due to inefficient data representation with a long series of spikes. If spike-driven applications, minimizing an amount of spikes, are developed, spiking neural systems may reach the energy efficiency level of classical neural systems. However, in the near future, both type of neuromorphic systems may benefit from emerging memory technologies, minimizing the energy consumption of computation and memory for both neuron types. That would make infrastructure and data transfer energy dominant on the system level. We expect that spiking neurons have some benefits, which would allow achieving better energy results. Still the problem of an amount of spikes will still be the major bottleneck for spiking hardware systems.

研究の動機と目的

• 実用的応用におけるスパイクニューロンモーフィックハードウェアのエネルギー効率を、古典的ニューラルネットワークと比較して評価すること。
• 特に長時間にわたるスパイクトレインによるデータ表現に起因する、スパイクハードウェアにおけるシステムレベルの非効率性を特定すること。
• 最適化されたスパイク使用を通じて、スパイクニューラルシステムが古典的ネットワークと同等またはそれ以上のエネルギー効率を達成できるかどうかを検討すること。
• 両方のニューロンタイプにおけるシステムレベルでのエネルギー消費を低減するための新興メモリ技術の役割を評価すること。
• スパイクニューロモーフィックシステムが現在の制限を超えて、広範な展開を可能にするために必要な要因を特定すること。

提案手法

• 基本的計算演算レベルにおけるスパイク型および古典的ニューラルネットワークのエネルギー効率のベンチマーク評価。
• 長期間にわたるスパイク列に起因するデータ表現の非効率性に注目した、システムレベルのエネルギー消費の分析。
• スパイク駆動型アプリケーション設計が、総スパイク数の低減とエネルギー効率の向上に与える影響の評価。
• 新興メモリ技術が、ニューロモーフィックシステムにおける計算およびメモリのエネルギーコストを低減する可能性の評価。
• スパイク周波数やデータ符号化戦略の変更に伴う、設計選択の違いによるシステムレベルのエネルギー消費トレンドの比較。

実験結果

リサーチクエスチョン

• RQ1 スパイクニューロモーフィックハードウェアのエネルギー効率は、基本的演算レベルにおいて古典的ニューラルネットワークと比べてどうか？
• RQ2 スパイクニューロモーフィックシステムにおける主なシステムレベルのエネルギーボトルネックは何であり、全体のパフォーマンスにどのように影響するか？
• RQ3 アプリケーションレベルの最適化によりスパイク数を低減することで、スパイク型と古典的ネットワークの間のエネルギー効率ギャップを埋められるか？
• RQ4 新興メモリ技術は、スパイク型および古典的ニューロモーフィックシステムの両方におけるエネルギー消費をどの程度低減できるか？
• RQ5 スパイクハードウェアが、古典的ハードウェアと同等のシステムレベルのエネルギー効率を達成できるかどうかを決める要因は何か？

主な発見

• スパイクハードウェアは、基本的演算レベルにおいて、古典的ハードウェアと同等またはそれ以上のエネルギー効率を達成している。
• スパイクシステムにおけるシステムレベルのエネルギー消費は、長期間にわたるスパイクトレインによる非効率なデータ表現のため、古典的システムよりも顕著に高い。
• スパイク数を最小限に抑えるアプリケーション設計により、スパイクニューロモーフィックシステムが古典的システムのエネルギー効率に達する可能性がある。
• 新興メモリ技術は、両方のニューロンタイプにおける計算およびメモリのエネルギーコストを低減すると予想され、エネルギー消費の主な要因がインfra構造およびデータ転送にシフトする。
• 潜在的な利点があるものの、スパイクの体積が、スパイクニューロモーフィックハードウェアのスケーラビリティおよび効率性を制限する主なボトルネックのままである。