[論文レビュー] A Survey of Neuromorphic Computing and Neural Networks in Hardware

Catherine D. Schuman, Thomas E. Potok+5 more|arXiv (Cornell University)|May 19, 2017

Advanced Memory and Neural Computing参考文献 1,597被引用数 362

ひとこと要約

神経モルフィック計算とニューラルネットワークハードウェアの35-yearに及ぶ包括的調査が、動機、モデル、学習アルゴリズム、ハードウェア実装、支援システム、および応用を詳述し、将来の研究ギャップを特定する。

ABSTRACT

Neuromorphic computing has come to refer to a variety of brain-inspired computers, devices, and models that contrast the pervasive von Neumann computer architecture. This biologically inspired approach has created highly connected synthetic neurons and synapses that can be used to model neuroscience theories as well as solve challenging machine learning problems. The promise of the technology is to create a brain-like ability to learn and adapt, but the technical challenges are significant, starting with an accurate neuroscience model of how the brain works, to finding materials and engineering breakthroughs to build devices to support these models, to creating a programming framework so the systems can learn, to creating applications with brain-like capabilities. In this work, we provide a comprehensive survey of the research and motivations for neuromorphic computing over its history. We begin with a 35-year review of the motivations and drivers of neuromorphic computing, then look at the major research areas of the field, which we define as neuro-inspired models, algorithms and learning approaches, hardware and devices, supporting systems, and finally applications. We conclude with a broad discussion on the major research topics that need to be addressed in the coming years to see the promise of neuromorphic computing fulfilled. The goals of this work are to provide an exhaustive review of the research conducted in neuromorphic computing since the inception of the term, and to motivate further work by illuminating gaps in the field where new research is needed.

研究の動機と目的

• ニューロモルフィック計算分野の歴史的かつ広範な概要を提供する。
• 時間の経過に伴うニューロモルフィックハードウェア開発を推進する動機を要約する。
• ハードウェア実装で使用されるニューロン、シナプス、ネットワークモデルを列挙する。
• ニューロモルフィックシステムに適用可能な学習アルゴリズムとトレーニング手法をレビューする。
• ハードウェア実現、支援システム、応用を調査し、未解決の研究課題を特定する。

提案手法

• 35年にわたる3,000件を超える論文の調査。
• 研究をモデル、アルゴリズム/学習、ハードウェア、支援システム、応用に分類する。
• 主要なニューロンとシナプスモデルとそのハードウェア実現について議論する。
• 低電力、リアルタイム性能、スケーラビリティといった目的の分析。
• ギャップと将来の研究動向の特定。

実験結果

リサーチクエスチョン

• RQ1 ニューロモルフィック計算を形づくってきた歴史的動機は何で、どのように進化してきたか？
• RQ2 どのニューロン、シナプス、ネットワークモデルがハードウェア実現を持ち、それらはどのように異なるか？
• RQ3 ニューロモルフィックハードウェアで一般的な学習ルールとアルゴリズムは何で、どのように実装されているか？
• RQ4 どのようなハードウェアアーキテクチャと材料が用いられ、どんな応用を可能にしてきたか？
• RQ5 ニューロモルフィック計算を前進させるための主要な未解決課題とギャップは何か？

主な発見

• 過去10年間でニューロモルフィック計算への関心が大きく高まっている。
• 低電力動作が現代のニューロモルフィックハードウェアの支配的な動機である。
• 生物学的に妥当なもの、生物学に触発されたもの、積分-発火（integrate-and-fire）、McCulloch-Pitts伝統を含む広範なニューロンモデルが存在する。
• シナプスモデルはしばしば可塑性とSTDPを強調し、多様なシナプスダイナミクスとネットワーク学習規則を有する。
• ハードウェア実装はスパイキングと非スパイキングネットワークを含み、さまざまなデバイス技術とプログラミング能力を有する。
• この分野は材料科学、神経科学、デバイス工学、アルゴリズム/ソフトウェア開発など、依然として多分野にまたがっており、明確な未解決の研究ギャップを伴う。