[論文レビュー] Spiking Hyperdimensional Network: Neuromorphic Models Integrated with Memory-Inspired Framework

Zhuowen Zou, Haleh Alimohamadi+3 more|arXiv (Cornell University)|Oct 1, 2021

Ferroelectric and Negative Capacitance Devices参考文献 65被引用数 12

ひとこと要約

SpikeHDは、イベントベースのデータからの時空間特徴抽出にスパikingニューラルネットワーク（SNNs）を、高レベルの抽象表現と分類にハイパーディメンショナルコンピューティング（HDC）を用いることで、SNNsとHDCを根本的かつ統合する最初のフレームワークである。2段階処理により、学習能力、ノイズ耐性、モデル効率が向上し、ネットワークサイズとパラメータ数を削減しながら、ベンチマークタスクで高い精度を維持する。

ABSTRACT

Recently, brain-inspired computing models have shown great potential to outperform today's deep learning solutions in terms of robustness and energy efficiency. Particularly, Spiking Neural Networks (SNNs) and HyperDimensional Computing (HDC) have shown promising results in enabling efficient and robust cognitive learning. Despite the success, these two brain-inspired models have different strengths. While SNN mimics the physical properties of the human brain, HDC models the brain on a more abstract and functional level. Their design philosophies demonstrate complementary patterns that motivate their combination. With the help of the classical psychological model on memory, we propose SpikeHD, the first framework that fundamentally combines Spiking neural network and hyperdimensional computing. SpikeHD generates a scalable and strong cognitive learning system that better mimics brain functionality. SpikeHD exploits spiking neural networks to extract low-level features by preserving the spatial and temporal correlation of raw event-based spike data. Then, it utilizes HDC to operate over SNN output by mapping the signal into high-dimensional space, learning the abstract information, and classifying the data. Our extensive evaluation on a set of benchmark classification problems shows that SpikeHD provides the following benefit compared to SNN architecture: (1) significantly enhance learning capability by exploiting two-stage information processing, (2) enables substantial robustness to noise and failure, and (3) reduces the network size and required parameters to learn complex information.

研究の動機と目的

• リアルタイム埋め込み応用におけるSNNsの頑健性、スケーラビリティ、認知機能の制限を克服すること。
• SNNsとHDCを統合することで、HDCが神経形状データを効果的に処理できないという問題を克服し、エンドツーエンドの学習を可能にすること。
• 階層的処理を通じて脳の機能を模倣するスケーラブルでエネルギー効率の高い認知学習システムを構築すること。
• HDCの記憶にインspiredされたアーキテクチャを活用し、オンラインで1回のパスで学習可能なリアルタイムの適応性を実現すること。
• ハイブリッドSNN-HDCトレーニングにより、モデルの解釈性を向上させるとともに、パラメータ要件を低減すること。

提案手法

• SpikeHDは、生のイベントベースのスパイクデータからの時空間的特徴を抽出するために浅いSNNを用い、時間的・空間的相関を保持する。
• SNNの出力は非線形なニューラルエンコーダーを介して高次元のハイパーベクトルにマッピングされ、HDCベースの表現学習が可能になる。
• SNNとHDCのトレーニングを同期化するエンドツーエンドの共同トレーニングメカニズムにより、HDC分類に最適化されたSNN出力を得る。
• SNNを固定したままHDCモジュールを1パス学習で更新することで、オンライン学習をサポートする。
• 次元の低下に起因する情報損失の可能性があるものの、モア・ペネローズ逆行列に基づく損失バックプロパゲーション機構が、HDCからSNNへの誤差伝搬を実現する。
• モデルはアトキンソン–シフリン記憶モデルを概念的基盤として用い、HDCによる長期記憶とSNNによる感覚処理をシミュレートする。

実験結果

リサーチクエスチョン

• RQ1 SNNsとHDCを統合することで、単体のモデルよりも頑健で効率的な認知学習システムを構築できるか？
• RQ2 SNNによる特徴抽出とHDCによる抽象化という2段階処理は、イベントベースのデータにおける学習性能をどのように向上させるか？
• RQ3 SpikeHDは、複雑な情報を学習するにあたり、モデルサイズとパラメータ数をどの程度削減できるか？
• RQ4 フレームワークは、最小限の計算オーバーヘッドでリアルタイムのオンライン学習をサポートできるか？
• RQ5 SNNとHDCの統合は、ノイズやデータ障害に対する耐性をどの程度向上させるか？

主な発見

• SpikeHDは2段階情報処理を活用することで、単独のSNNやHDCモデルを上回る学習能力を顕著に向上させる。
• ネットワークサイズと学習に必要なパラメータ数が削減され、特に小さなSNNやより複雑なタスクにおいて顕著な改善が得られる。
• HDCの内在的耐性とSpikeHDの階層的抽象化のおかげで、ノイズや障害に対する耐性が顕著に向上する。
• 高次元HDCや大規模SNNを用いた場合、テスト精度の向上はわずかにとどまるため、大規模構成では限界効果が顕在する。
• HDCからSNNへの損失バックプロパゲーションは次元の低下に起因する制限を受けるため、より良い正則化やエンドツーエンドトレーニング戦略の導入が期待される。
• SNNを静的に保ちながらHDCを1パス学習で更新することで、フレームワークはリアルタイムのオンライン学習を可能にし、ストリーミング神経形状データに適している。