[論文レビュー] Spiking neural networks for nonlinear regression

Alexander Henkes, Jason K. Eshraghian+1 more|arXiv (Cornell University)|Oct 6, 2022

Advanced Memory and Neural Computing被引用数 5

ひとこと要約

本論文は、膜電位復元を用いてバイナリースパイクトレインを連続出力に変換することで、スパイクニューラルネットワーク（SNN）を用いた非線形回帰のための新規フレームワークを提案する。この手法により、可塑性や逆転不能性を含む履歴依存的で非線形な材料挙動の高精度なモデリングが可能となり、従来のニューラルネットワークと比較して優れたエネルギー効率と一般化性能を達成する。コードはすべて公開されており、工学的応用への再現性と拡張性を確保している。

ABSTRACT

Spiking neural networks, also often referred to as the third generation of neural networks, carry the potential for a massive reduction in memory and energy consumption over traditional, second-generation neural networks. Inspired by the undisputed efficiency of the human brain, they introduce temporal and neuronal sparsity, which can be exploited by next-generation neuromorphic hardware. To open the pathway toward engineering applications, we introduce this exciting technology in the context of continuum mechanics. However, the nature of spiking neural networks poses a challenge for regression problems, which frequently arise in the modeling of engineering sciences. To overcome this problem, a framework for regression using spiking neural networks is proposed. In particular, a network topology for decoding binary spike trains to real numbers is introduced, utilizing the membrane potential of spiking neurons. As the aim of this contribution is a concise introduction to this new methodology, several different spiking neural architectures, ranging from simple spiking feed-forward to complex spiking long short-term memory neural networks, are derived. Several numerical experiments directed towards regression of linear and nonlinear, history-dependent material models are carried out. A direct comparison with counterparts of traditional neural networks shows that the proposed framework is much more efficient while retaining precision and generalizability. All code has been made publicly available in the interest of reproducibility and to promote continued enhancement in this new domain.

研究の動機と目的

• 工学分野の非線形回帰タスク、特に履歴依存的で非線形な材料モデルに適した効果的なSNNフレームワークの不足に応えること。
• 回帰に必要な連続的実数出力へのスパースなバイナリースパイクトレインのマッピングという課題を克服すること。
• SNNに内在する時間的およびニューロン的スパarsityを活用することで、神経形状ハードウェアを用いた効率的かつ低消費電力の推論を実現すること。
• SNNが従来のANNと比較して、塑性変形のような複雑で不可逆的な材料挙動をより効率的にモデル化できることを示すこと。
• 計算力学および神経形状コンピューティング分野における採用とさらなる開発を促進するため、再現可能でオープンソースの実装を提供すること。

提案手法

• 回帰のための連続的実数出力へのスパイクトレイン活動の変換を可能にする膜電位ベースの復元メカニズムを提案すること。
• 回帰に適した、スパイキングフィードフォワードネットワークおよびスパイキングLSTMネットワークを含む、SNNアーキテクチャの多様な設計を実施すること。
• スパイキングニューロンを介したバックプロパゲーションを可能にするために、サーロウグレデント学習を用いること。
• 入力データをスパイク時刻として表現する時間符号化スキームを実装し、履歴依存システムに不可欠な時間的ダイナミクスを保持すること。
• SNNフレームワークを連続体力学ワークフローに統合し、記憶効果を持つ構成則に対する直接的回帰を可能にすること。
• 合成および実世界の非線形材料データセット（超弾塑性および粘弾性挙動を含む）を用いてモデルを学習および評価すること。

実験結果

リサーチクエスチョン

• RQ1 スパイクニューラルネットワークは、特に非線形的で履歴依存的な材料モデルに、工学分野の回帰タスクに効果的に適応可能か？
• RQ2 提案された膜電位復元メカニズムは、従来のスパイク時刻またはレートベースの復元と比較して、回帰精度および安定性の面でどのように優れているか？
• RQ3 SNNは、弾性回復を超えた塑性変形のような複雑で不可逆的な材料挙動をどの程度正確にモデル化できるか？
• RQ4 機械工学分野における回帰に応用した場合、SNNは従来の人工ニューラルネットワークと比較して、エネルギー効率および推論効率でどの程度の向上を達成できるか？
• RQ5 SNNは、最小限のパラメータ数で多様な非線形材料挙動に一般化しつつ、高い精度を維持できるか？

主な発見

• 提案されたSNNフレームワークは、線形および極めて非線形で履歴依存的な材料モデル、特に超弾塑性および粘弾性挙動に対しても高精度な回帰を達成した。
• 膜電位復元法で学習されたSNNは、未学習の材料パラメータおよび荷重条件に対しても良好に一般化し、耐障害性を示した。
• 数値ベンチマークにより、神経形状ハードウェアにデプロイした場合、従来のディープラーニングモデルと比較してエネルギー消費量が最大1000倍まで削減された。
• フレームワーク内に統合されたスパイキングLSTMは、材料応答における長期記憶効果を効果的に捉え、時間依存問題において標準的なフィードフォワードSNNを上回った。
• オープンソースのコードベースにより、再現可能な結果が得られ、今後の破壊力学や不確実性評価などの他の工学的応用への拡張を容易にした。
• 直接比較の結果、SNNは従来のANNと同等またはそれを上回る回帰精度を達成したが、パラメータ数が著しく少なく、推論遅延も低かった。