[論文レビュー] The fine line between dead neurons and sparsity in binarized spiking neural networks

Jason K. Eshraghian, Wei Lü|arXiv (Cornell University)|Jan 28, 2022

Advanced Memory and Neural Computing被引用数 18

ひとこと要約

本論文では、スパイク活動とダイナミックレンジのバランスを取るために、逐次的に発火閾値を引き上げるウォームアップ戦略「スレッショルドアニーリング」を提案する。早期のネットワーク活動を可能にし、後期に高精度の状態蓄積を実現することで、デッドニューロンを71%削減し、重みをバイナリ化した状態で4つのデータセットで最先端の精度を達成した。

ABSTRACT

Spiking neural networks can compensate for quantization error by encoding information either in the temporal domain, or by processing discretized quantities in hidden states of higher precision. In theory, a wide dynamic range state-space enables multiple binarized inputs to be accumulated together, thus improving the representational capacity of individual neurons. This may be achieved by increasing the firing threshold, but make it too high and sparse spike activity turns into no spike emission. In this paper, we propose the use of `threshold annealing' as a warm-up method for firing thresholds. We show it enables the propagation of spikes across multiple layers where neurons would otherwise cease to fire, and in doing so, achieve highly competitive results on four diverse datasets, despite using binarized weights. Source code is available at https://github.com/jeshraghian/snn-tha/

研究の動機と目的

• バイナリスパイクニューラルネットワーク（BSNNs）におけるスパイク活動とダイナミックレンジのトレードオフを解消すること。特に、高い閾値は発火を抑制し、低い閾値は表現能力を制限する。
• 訓練中に完全に発火しなくなる「デッドニューロン」の数を減らすこと。これは勾配の流れを妨げ、収束を遅くする要因となる。
• 重み精度を向上させずに、訓練中に発火閾値を動的に調整することで、BSNNの学習効率と精度を向上させること。
• 初期層での十分な活動を維持しつつ、後段のフェーズで高精度の状態蓄積を活用できるようにすることで、スパースに活性化するネットワークにおける効果的なバックプロパゲーションを可能にすること。

提案手法

• スレッショルドアニーリングを導入：訓練イテレーションに伴い、初期は低値から出発し、徐々に高い定常値に到達する発火閾値θを上昇させるウォームアップ技術。
• 推論時には固定閾値を用いる。これは訓練終了時に達成された最終的な閾値をそのまま利用し、1層あたり1つの符号付き精度値で済むため、メモリオーバーヘッドが最小限である。
• 勾配干渉を避けるために、訓練ループの外で閾値の更新が行われる標準的なバックプロパゲーションフレームワークに統合。
• 状態空間精度の自然な進行を模倣する動的レンジ（DR）進化戦略を採用。初期の活動と後段の蓄積の両方をバランスさせる。
• 漏れ積分・発火型（leaky integrate-and-fire）ダイナミクスを有するスパイクニューロンモデルを活用。スパイク発生は膜電位u^j_tがθを超えた場合に発生する。
• バイナリ重みw^ij ∈ {−1, 1} とバイナリ活性化z^i_t ∈ {0, 1} を用い、シナプス後ポテンシャルx^j_t+1 ∈ {−1, 0, 1} を採用することで、計算とメモリの効率化を実現。

実験結果

リサーチクエスチョン

• RQ1 動的閾値調整戦略は、バイナリスパイクニューラルネットワークにおける訓練収束性と精度を向上させ得るか？
• RQ2 スレッショルドアニーリングは、固定閾値訓練と比較して、BSNNにおけるデッドニューロンの数をどの程度低減できるか？
• RQ3 時間経過に伴い閾値を上昇させるウォームアップ戦略は、フル精度重みを必要とせずにスパイク活動とダイナミックレンジのバランスを取れるか？
• RQ4 スレッショルドアニーリングは、入力のスパarsityや時間的ダイナミクスが異なる多様なデータセットにおいて、性能にどのような影響を与えるか？
• RQ5 スレッショルドアニーリングは、低メモリフットプリントとハードウェア効率を維持したまま、BSNNで競争力のある精度を達成できるか？

主な発見

• スレッショルドアニーリングにより、SHDデータセットにおいて固定閾値BSNNと比較してデッドニューロンが71%削減され、訓練収束性が顕著に向上した。
• DVS128 Gestureデータセットでは、本手法のBSNNがバイナリ重み98 Kbitsで91.3%の精度を達成。フル精度ネットワーク（8.4 Mbits、82.1%）を上回った。
• CIFAR-10データセットでは、バイナリ重み12 Kbitsで87.9%の精度を達成。フル精度NHモデル（794 Kbits、87.3%）を上回った。
• 本手法は、CIFAR-10、SVHN、DVS128 Gesture、SHDの4つのデータセットすべてで、バイナリ重みと最小限のメモリオーバーヘッドの下で最先端の性能を達成した。
• 最終的な閾値θ_γは、定常状態閾値θ_∞と常に0.1%以内に収束しており、再トレーニングやキャリブレーションなしにθ_∞を推論時に直接利用可能であった。
• スパイク活動の分布が顕著に改善された：SHDデータセットにおいて、スレッショルドアニーリングを用いた場合、最初の層と最終層の両方でデッドニューロンは約20%にまで低下した。一方、固定閾値ベースラインでは55%と90%に達した。