[論文レビュー] Biologically Inspired Dynamic Thresholds for Spiking Neural Networks

Jianchuan Ding, Bo Dong+5 more|arXiv (Cornell University)|Jun 9, 2022

Advanced Memory and Neural Computing被引用数 22

ひとこと要約

生体に触発された動的エネルギー-時間閾値 (BDETT) をSNNに導入し、動的エネルギーと時間閾値を結合して発火を調節し、ロボット障害物回避、連続制御、画像分類における一般化と恒常性を通常条件および劣化条件下で改善します。

ABSTRACT

The dynamic membrane potential threshold, as one of the essential properties of a biological neuron, is a spontaneous regulation mechanism that maintains neuronal homeostasis, i.e., the constant overall spiking firing rate of a neuron. As such, the neuron firing rate is regulated by a dynamic spiking threshold, which has been extensively studied in biology. Existing work in the machine learning community does not employ bioinspired spiking threshold schemes. This work aims at bridging this gap by introducing a novel bioinspired dynamic energy-temporal threshold (BDETT) scheme for spiking neural networks (SNNs). The proposed BDETT scheme mirrors two bioplausible observations: a dynamic threshold has 1) a positive correlation with the average membrane potential and 2) a negative correlation with the preceding rate of depolarization. We validate the effectiveness of the proposed BDETT on robot obstacle avoidance and continuous control tasks under both normal conditions and various degraded conditions, including noisy observations, weights, and dynamic environments. We find that the BDETT outperforms existing static and heuristic threshold approaches by significant margins in all tested conditions, and we confirm that the proposed bioinspired dynamic threshold scheme offers homeostasis to SNNs in complex real-world tasks.

研究の動機と目的

• 動的で生体に触発されたスパイク閾値の調節がSNNのニューロン恒常性を達成するために必要であることを動機づける。
• 発火を調節する動的エネルギー閾値(DET)と動的時間閾値(DTT)を含むBDETTスキームを提案する。
• 層ごとの統計的手掛かりがDETとDTTのパラメータを設定し頑健な一般化を実現する方法を示す。
• 劣化条件下での障害物回避、連続制御、画像分類に対してBDETTを検証する。

提案手法

• ニューロンごとの動的閾値 Theta_i^l(t+1) = 1/2 (E_i^l(t) + T_i^l(t+1)).
• Dynamic Energy Threshold (DET) E_i^l(t) は生体模倣形を用い、v_i^l(t)、層平均 V_m^l(t) および V_theta^l(t) と層ごとの統計量を組み合わせる（式2-4）。
• Dynamic Temporal Threshold (DTT) T_i^l(t+1) は前回の去分極速度に連結したモノエクスポノン様関数と、層閾値に応じた適応オフセット a を用いる（式5-6）。
• E_i^l(t) と V_m^l(t), V_theta^l(t) は層ごとの平均と範囲を取り込み、DETを層の統計に適応させる。
• BDETTをSRMとLIF SNNに統合し、劣化入力と重みの不確かさ下で障害物回避、連続制御（HalfCheetah-v3, Ant-v3）、画像分類を評価する。

実験結果

リサーチクエスチョン

• RQ1 生物学的にインスパイアされた動的閾値スキームは現実世界のロボットタスクにおけるSNNの一般化を改善しますか？
• RQ2 動的エネルギー閾値と動的時間閾値（DETとDTT）は、劣化した入力、ノイズの多いウェイト、動的環境の下で恒常性を提供してロバスト性を高めますか？
• RQ3 BDETTは障害物回避、ロボティクス制御、知覚タスク全体で静的閾値およびヒューリスティック動的閾値とどう比較されますか？

主な発見

• BDETTは、テストされたすべてのタスクと劣化条件下で静的閾値およびヒューリスティック動的閾値を上回る。
• BDETTはHost SNNに対して測定可能な恒常性を提供し、条件が移動しても発火率統計の変化が小さい。
• 障害物回避では、動的障害物、劣化した入力、およびウェイト不確かさの下でBDETTは成功率を高める。
• 連続制御タスクでは、劣化した観測とウェイト摂動下でより高い報酬を達成し、ベースラインより良い性能を維持する。
• 低精度のウェイトでもBDETTは有効で、場合によって高精度ベースラインを上回ることがある。