[論文レビュー] Addressing the speed-accuracy simulation trade-off for adaptive spiking neurons

Luke Taylor, Andrew J. King+1 more|arXiv (Cornell University)|Nov 19, 2023

Neural dynamics and brain function被引用数 5

ひとこと要約

本論文は、適応的漏れ積分・発火（ALIF）スパイクニューロンモデルのアルゴリズム的再定式化を提案し、逐次的シミュレーションの複雑さを O(T) から O(T/TR) に低減することで、最大 53× の高速化を実現した。これにより、高い精度を維持したまま学習を 40× 速く、推論を 53× 速く可能にした。絶対的不活性期（ARP）を活用することで、GPU における並列処理が可能となり、ミリ秒未塔の時間分解能を必要とする生物学的リアリズムの高いニューラルモデルの学習およびフィッティングが大幅に高速化された。

ABSTRACT

The adaptive leaky integrate-and-fire (ALIF) model is fundamental within computational neuroscience and has been instrumental in studying our brains $ extit{in silico}$. Due to the sequential nature of simulating these neural models, a commonly faced issue is the speed-accuracy trade-off: either accurately simulate a neuron using a small discretisation time-step (DT), which is slow, or more quickly simulate a neuron using a larger DT and incur a loss in simulation accuracy. Here we provide a solution to this dilemma, by algorithmically reinterpreting the ALIF model, reducing the sequential simulation complexity and permitting a more efficient parallelisation on GPUs. We computationally validate our implementation to obtain over a $50 imes$ training speedup using small DTs on synthetic benchmarks. We also obtained a comparable performance to the standard ALIF implementation on different supervised classification tasks - yet in a fraction of the training time. Lastly, we showcase how our model makes it possible to quickly and accurately fit real electrophysiological recordings of cortical neurons, where very fine sub-millisecond DTs are crucial for capturing exact spike timing.

研究の動機と目的

• 生物学的モデリングに必要な微細な時間分解能（DT）を要する状況において、長年の速度-精度のトレードオフを解消すること。
• GPU 上での学習および推論速度を制限している、ALIF ニューロンのシミュレーションにおける逐次的計算複雑度を低減すること。
• ミリ秒未塔の DT を用いて、正確な発火タイミングを捉えることが不可欠な実際の電気生理学的記録の高精度で高速なフィッティングを可能にすること。
• シミュレーションの忠実度を維持しつつ、特に大規模な SNN やデータフィッティングタスクにおいて、学習および推論時間を著しく短縮する手法を開発すること。

提案手法

• 絶対的不活性期（ARP）長さ TR の間、一貫した逐次的複雑度 O(1) を導入することで、ALIF モデルを再定式化し、シミュレーション長 T に対して全体の複雑度を O(T/TR) に低減する。
• 神経細胞が ARP 内で2度発火できないという生物学的制約を活用し、不活性期間を超えた時間ステップの並列処理を可能にする。
• GPU で加速された演算を用いて再定式化された ALIF モデルを実装し、ニューロンおよびレイヤーの効率的なバッチ処理を可能にする。
• 学習にはサロゲート勾配降下法を用い、標準的なディープラーニングワークフローと互換性を保ちつつ、顕著な高速化を達成する。
• ARP を学習可能なパラメータまたは固定ハイパーパrameterとして定義し、速度、精度、生物学的妥当性の間のトレードオフを可能にする。
• 合成ベンチマーク、教師あり分類タスク、マウス V1 の実際の皮質ニューロン記録を用いて、手法の妥当性を検証した。

Figure 1: Problem overview. a. Schematic of an ALIF neuron: input current $I$ charges membrane potential $V$ and outputs spikes $S$ if firing threshold is reached (with the neuron’s internal state evolving over time). b. An example of the simulation trade-off problem when simulating a single ALIF ne

実験結果

リサーチクエスチョン

• RQ1 微細な時間分解能においても、シミュレーションの正確さを損なわずに、ALIF ニューロンの逐次的シミュレーション複雑度を低減できるか？
• RQ2 絶対的不活性期を活用することで、GPU 上での SNN の学習および推論において顕著な高速化が達成できるか？
• RQ3 再定式化された ALIF モデルは、標準的な ALIF モデルと同等の分類性能を達成しつつ、学習時間を 50× 以上短縮できるか？
• RQ4 発火タイミングの正確さが重要な状況において、本手法はミリ秒未塔の時間分解能で実際の電気生理学的記録を高精度でフィッティングできるか？
• RQ5 ARP 長さの選択が、学習速度、シミュレーション精度、生物学的妥当性のトレードオフにどのように影響するか？

主な発見

• 提案手法は、標準的な ALIF モデルと比較して、学習で最大 53×、推論で最大 40× の高速化を達成したが、時間的スパイク分類データセットでは同一の分類精度を維持した。
• マウス V1 の実際の皮質ニューロン記録において、DT = 0.1 ms の条件下で、標準モデルと同等のフィッティング品質（ETV ≈ 0.80）を達成したが、1 ニューロンあたりの平均フィッティング時間は 108.4 秒から 15.5 秒に短縮された。
• 非生理的で大きな ARP 値（例：4 ms）を用いても、高い精度を維持したため、ハイパーパrameter のチューニングに柔軟で頑健であることが示された。
• DT を 0.1 ms から 4 ms に増加させると、フィッティング精度は著しく低下した（ETV 0.80 → 0.66）が、DT = 0.1 ms の固定条件下で ARP を増加させても精度は安定したため、本手法が ARP の変動に対して耐性があることが確認された。
• V1 ニューロンにおける不均一な膜時定数の高精度なフィッティングが可能であり、視覚皮質におけるマルチタイムスケール処理の可能性を示唆したが、計算コストは最小限に抑えられた。

Figure 2: Solution overview . a. Our proposed solution: instead of simulating network dynamics one time step after another (top), we sequentially simulate blocks of time equal in length to the neuron ARP (bottom), in which a neuron can spike at most once. b. A schematic of a Block: our proposed solu