[論文レビュー] Bottom-up and top-down approaches for the design of neuromorphic processing systems: Tradeoffs and synergies between natural and artificial intelligence

Charlotte Frenkel, David Bol+1 more|arXiv (Cornell University)|Jun 2, 2021

Advanced Memory and Neural Computing被引用数 5

ひとこと要約

この論文は、神経形状システムにおけるボトムアップ（生物学的インスピレーション）とトップダウン（応用指向）の設計アプローチを比較し、回路設計、学習パラダイム、システム効率の面で妥当性を分析する。自然知能と人工知能の相乗効果を同定し、オンチップ学習とイベントベース処理を備えた低消費電力エッジコンピューティング向けの神経形状知能のフレームワークを提案する。

ABSTRACT

While Moore's law has driven exponential computing power expectations, its nearing end calls for new avenues for improving the overall system performance. One of these avenues is the exploration of alternative brain-inspired computing architectures that aim at achieving the flexibility and computational efficiency of biological neural processing systems. Within this context, neuromorphic engineering represents a paradigm shift in computing based on the implementation of spiking neural network architectures in which processing and memory are tightly co-located. In this paper, we provide a comprehensive overview of the field, highlighting the different levels of granularity at which this paradigm shift is realized and comparing design approaches that focus on replicating natural intelligence (bottom-up) versus those that aim at solving practical artificial intelligence applications (top-down). First, we present the analog, mixed-signal and digital circuit design styles, identifying the boundary between processing and memory through time multiplexing, in-memory computation, and novel devices. Then, we highlight the key tradeoffs for each of the bottom-up and top-down design approaches, survey their silicon implementations, and carry out detailed comparative analyses to extract design guidelines. Finally, we identify necessary synergies and missing elements required to achieve a competitive advantage for neuromorphic systems over conventional machine-learning accelerators in edge computing applications, and outline the key ingredients for a framework toward neuromorphic intelligence.

研究の動機と目的

• 神経形状システムにおけるボトムアップ（生物学的インスピレーション）とトップダウン（応用指向）の設計アプローチの間の妥当性と相乗効果を分析すること。
• エッジコンピューティング向けに効率的で、多様性に富み、適応可能な神経形状システムを実現するための主な課題を同定すること。
• アナログ、ミックスド・シグナル、デジタルの神経形状回路におけるシリコン実装を調査すること。
• 神経形状ハードウェアにシナプス可塑性とオンチップ学習を統合するための設計ガイドラインを確立すること。
• 生物学的知能と人工知能を橋渡しする神経形状知能のフレームワークを提案すること

提案手法

• アナログ、ミックスド・シグナル、デジタルの3つの回路スタイルにおける神経形状システム設計の比較分析を実施し、処理と記憶の統合（プロセッシング・メモリ共存）に焦点を当てる。
• 生物学的神経構造に基づくボトムアップ的手法と、実用的AIアプリケーションをターゲットとするトップダウン手法を評価する。
• 時間多重、メモリ内計算、および新規デバイスを用いた処理と記憶の境界を曇らせるメカニズムを検討する。
• オンチップでのオンライン学習とシナプス可塑性を備えたスパイクニューラルネットワークのシリコン実装をレビューする。
• エネルギー効率、推論速度、適応性といった主要なパフォーマンス指標を、さまざまな神経形状プラットフォーム間で分析する。
• イベントベース処理、低消費電力動作、リアルタイム適応を統合する神経形状知能のフレームワークを提案する

実験結果

リサーチクエスチョン

• RQ1 神経形状システムにおけるボトムアップとトップダウンの設計手法の間の主な妥当性は何か？
• RQ2 アナログ、ミックスド・シグナル、デジタルの異なる回路設計スタイルが、神経形状チップにおける処理と記憶の共存にどのように影響するか？
• RQ3 オンチップ学習は、エッジ神経形状アプリケーションにおける適応性とプライバシー保護にどのような役割を果たすか？
• RQ4 従来のAIアクセラレータと比較して、神経形状システムが効率性と多様性のギャップをどのように埋めることができるか？
• RQ5 競争力のある神経形状知能を実現するために、自然知能と人工知能の間に必要な相乗効果は何か？

主な発見

• スパイクニューラルネットワークに基づく神経形状システムは、従来のディープラーニングアクセラレータと比較して著しく高いエネルギー効率を達成しており、人間の脳（約20 W）と比較してAlphaGo Zero（約1 kW）のエネルギー消費量が顕著に高い。
• ボトムアップ的手法は、可塑性とイベントベース処理のより緊密な統合を可能にし、リアルタイム適応と低遅延推論を支援する。
• トップダウン的手法は、画像認識やキーワード検出といった狭義のAIタスクで優れた性能を示すが、新しいタスクに適応するには膨大な再トレーニングが必要である。
• HICANN-X や ReckOn といったプラットフォームを用いることで、音声やバイオシグナル（例：EEG、ECG）のエンドツーエンドスパイクベース処理が可能となり、計算コストの高いオフチップ前処理を回避できる。
• ウェアラブル機器やロボットシステムにおける自律的適応を実現するには、オンチップ学習が不可欠であり、中央集権的コンピューティングへの依存を減らし、プライバシーを保護する。
• NeuroBench プロジェクトは、多様な神経形状ハードウェアおよびソフトウェアプラットフォーム間での公平で標準化された比較を可能にする重要なベンチマークスイートとして台頭しつつある。