[論文レビュー] Dimensions of Timescales in Neuromorphic Computing Systems

Herbert Jaeger, Dirk Doorakkers+2 more|arXiv (Cornell University)|Feb 21, 2021

Advanced Memory and Neural Computing参考文献 138被引用数 9

ひとこと要約

この論文は、神経科学、数学、コンピュータサイエンス、神経形状工学の分野において、'時間スケール'の多面的で複雑な概念を探求し、スパikingニューラルシステムにおける時間的ダイナミクスに関連する40以上のサブテーマを特定している。マルチタイムスケールダイナミクス、特にスローファースト系と記憶保持メカニズムが、効果的なリザボアコンピューティングおよび神経形状ハードウェア設計において不可欠であると提唱しており、STDPおよびRCアプリケーション向けの今後のハードウェア開発を導く重要な知見を提供している。

ABSTRACT

This article is a public deliverable of the EU project "Memory technologies with multi-scale time constants for neuromorphic architectures" (MeMScales, https://memscales.eu, Call ICT-06-2019 Unconventional Nanoelectronics, project number 871371). This arXiv version is a verbatim copy of the deliverable report, with administrative information stripped. It collects a wide and varied assortment of phenomena, models, research themes and algorithmic techniques that are connected with timescale phenomena in the fields of computational neuroscience, mathematics, machine learning and computer science, with a bias toward aspects that are relevant for neuromorphic engineering. It turns out that this theme is very rich indeed and spreads out in many directions which defy a unified treatment. We collected several dozens of sub-themes, each of which has been investigated in specialized settings (in the neurosciences, mathematics, computer science and machine learning) and has been documented in its own body of literature. The more we dived into this diversity, the more it became clear that our first effort to compose a survey must remain sketchy and partial. We conclude with a list of insights distilled from this survey which give general guidelines for the design of future neuromorphic systems.

研究の動機と目的

• 計算神経科学、数学、神経形状システムにおける'時間スケール'の多様な概念的・技術的側面をマッピングすること。
• 記憶保持、特異的摂動、遅延効果を含む、時間的ダイナミクスに関連する主要な現象を特定および分析すること。
• STDPおよびリザボアコンピューティング（RC）アプリケーションに特に適したマルチタイムスケール処理を支援する神経形状ハードウェアの設計指針を提供すること。
• 力学系理論からの理論的知見をアナログスパッキング神経形状ハードウェアにおける実際の制約と結びつけること。
• アナログスパッキングリザボアの記憶容量についての理論的分析の不足を補うために、力学系に基づく厳密なフレームワークを提案すること。

提案手法

• 神経科学、数学、コンピュータサイエンスの分野にまたがる、時間スケール現象に焦点を当てた横断的文献サーベイを実施する。
• 特異的摂動理論と分岐解析を用いて、スパッキングリザボアにおけるスローファーストダイナミクスをモデル化する。
• 幾何的力学系理論を適用して、マルチタイムスケールシステムにおける情報保持および一時的トランスジェントに基づく記憶を特徴付ける。
• 高速な忘却時間スケールを補償するために、ハードウェアで事前設定可能なシナプス重みを生成するリザボア転送手法を開発する。
• 心拍異常分類タスクをDynap-se神経形状チップ上で実装・テストし、事前設定された重みを用いて有効な記憶期間を延長する。
• シミュレーションと理論的モデリングを通じて、スパッキングRNNにおける記憶容量（MC）を分析し、従来の離散時間エコー状態ネットワークの研究を拡張する。

実験結果

リサーチクエスチョン

• RQ1 スパッキング神経形状システムにおいて、速度、記憶期間、制御パラメータのダイナミクスといった、'時間スケール'の異なる概念的次元がどのように相互作用するか。
• RQ2 物理的時間定数が速いスパッキングリザボアにおいて、長期間の情報保持を可能にする根本的メカニズムは何か。
• RQ3 力学系理論をどのように用いて、マルチタイムスケールスパッキングネットワークにおける一時的トランスジェントに基づく作業記憶を特徴付けることができるか。
• RQ4 生物学的タスクの時間スケール（例：心拍の1秒）と利用可能な神経形状チップの時間定数との不一致が、どのようなハードウェア設計制約を生じるか。
• RQ5 アナログスパッキングハードウェアにおけるシナプス重みの事前設定が、短い内在的記憶期間をどの程度補償できるか。

主な発見

• 神経形状システムにおける時間スケールは、システムの速度、記憶期間、制御パrameterのダイナミクスといった複数の概念的次元を含んでおり、現在のところ統一的なフレームワークは存在しない。
• 1秒の心拍分類タスクに対するDynap-seチップへの直接学習の失敗は、統合時間定数が不十分に短く、迅速な忘却が生じたためである。
• 新規のリザボア転送手法により、長期間の記憶期間を模倣するように事前設定されたシナプス重みを用いることで、正常な分類が達成された。
• シミュレーションにおける実験的測定は行われているものの、アナログスパッキングRNNにおける記憶容量の理論的分析は、依然としてほとんど未開拓である。
• スローファースト系と特異的摂動法の使用は、マルチタイムスケールリザボアにおける一時的トランスジェントに基づく記憶を分析するための有望な幾何的フレームワークを提供する。
• 今後の神経形状ハードウェアは、実世界の時間的タスクにおけるSTDPおよびRCベースの学習を可能にするために、広範な時間定数の範囲をサポートするべきである。