[論文レビュー] Spiking Deep Residual Network

Yangfan Hu, Huajin Tang+1 more|arXiv (Cornell University)|Apr 28, 2018

Advanced Memory and Neural Computing参考文献 51被引用数 75

ひとこと要約

この論文は訓練済みの深いResNetを、ショートカット正規化変換モデルと誤差補償機構を使ってスパイキングニューラルネットワーク(SNN)であるSpiking ResNet (S-ResNet)に変換し、CIFAR-10/100とImageNetで深いSNNが競争力のある精度を達成できるようにする。

ABSTRACT

Spiking neural networks (SNNs) have received significant attention for their biological plausibility. SNNs theoretically have at least the same computational power as traditional artificial neural networks (ANNs). They possess potential of achieving energy-efficiency while keeping comparable performance to deep neural networks (DNNs). However, it is still a big challenge to train a very deep SNN. In this paper, we propose an efficient approach to build a spiking version of deep residual network (ResNet). ResNet is considered as a kind of the state-of-the-art convolutional neural networks (CNNs). We employ the idea of converting a trained ResNet to a network of spiking neurons, named Spiking ResNet (S-ResNet). We propose a shortcut conversion model to appropriately scale continuous-valued activations to match firing rates in SNN, and a compensation mechanism to reduce the error caused by discretisation. Experimental results demonstrate that, compared with the state-of-the-art SNN approaches, the proposed Spiking ResNet achieves the best performance on CIFAR-10, CIFAR-100, and ImageNet 2012. Our work is the first time to build a SNN deeper than 40, with comparable performance to ANNs on a large-scale dataset.

研究の動機と目的

• 最先端のCNNアーキテクチャ（ResNet）をSNNに変換することによって、非常に深いスパイキングニューラルネットワークの訓練を動機づけ、実現する。
• S-ResNetにおいて発火レートと一致するように重みをスケーリングするショートカット対応の変換モデルを開発する。
• 離散化によって生じる伝搬誤差を補償し、深いSNNの精度を保持する。
• CIFAR-10、CIFAR-100、およびImageNetにおいて、既存の深いSNNアプローチより性能の改善を示す。
• 潜在的なニューロモルフィックハードウェア実装を従来のANNハードウェアと比較することによるエネルギー効率の示唆を提供する。

提案手法

• 事前学習済みのResNetをスパイキング対応へ変換する。ReLU層をintegrate-and-fireニューロンに置換し、畳み込み、プーリング、全結合操作をシナプス接続へマッピングする。
• ショートカット（残差）正規化モデルを適用して、残差ブロック内のショートカット重みをスケーリングし、発火レートを正規化された活性化と一致させる。
• レイヤー活性化から導出された正規化因子を用いて、残差ブロックの重みとバイアスをスケールし、活性化/発火レートの範囲を一定に保つ（Equations 1–2）。
• 残差ブロック特有の正規化を導出して適用し、ショートカット経路がmax_in/max_outでスケールされるようにする（Equation 4–6）。
• ANNの活性化とSNNの発火レート間の伝搬誤差 E_i(t) をモデル化・定量化する（Equations 7–11）、深さとともる誤差成長を表す指数深さモデル Ē_i = p·q^l を提案する（Equation 12）。
• 訓練データ走査中の重みを調整し、蓄積された伝搬誤差を打ち消す簡単な補償係数 ζ を導入する（Equation 14）。

実験結果

リサーチクエスチョン

• RQ1 ResNetを大規模なスパイキングネットワークへ効果的に変換して、精度の大幅な低下なしに実現できるか？
• RQ2 残差ブロックのショートカット接続を正規化することは、変換品質と最終的なS-ResNetの性能を向上させるか？
• RQ3 伝搬/離散化誤差が深いSNNに与える影響は何か、そして単純な補償方式でそれを緩和できるか？
• RQ4 ImageNetのような大規模データセットで競争力のある性能を維持しつつ、Spiking ResNetはどれだけ深くなり得るか？
• RQ5 提案されたSpiking ResNetは、精度とエネルギー効率の点で従来の深いSNNとどのように比較されるか？

主な発見

• ショートカット正規化を用いたS-ResNetは、未正規化変換と比較して深さを問わず誤差率が著しく低い（例：CIFAR-10 depth 20–56）。
• 誤差補償は、ResNet由来のS-ResNetと単純なCNNの両方の性能を向上させ、より深いネットワークほど補償の恩恵を受ける。
• ImageNet 2012では、Spiking ResNet-50は top-1 error 27.25%、top-5 error 9.03% を達成し、対応する誤差ロスはそれぞれ 2.69% と 1.52% 。
• 従来の深いSNNと比較して、提案手法はCIFAR-10、CIFAR-100、ImageNetでより良い性能を達成し、40層超のSNNをANN風の精度で競争できるようにする。
• エネルギー推定では、FPGA（Stratix 10 TX）上のResNet実装は、ニューロモルフィックハードウェア（ROLLS）で動作するS-ResNetより>9倍電力を消費する可能性があり、SNNの潜在的なエネルギー優位性を示唆している。