[論文レビュー] Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks

Jibin Wu, Chenglin Xu+3 more|arXiv (Cornell University)|Jul 2, 2020

Advanced Memory and Neural Computing参考文献 56被引用数 14

ひとこと要約

本稿では、スパイク数を用いてアナログニューロンの活性化を近似し、変換誤差を段階的で適応的な訓練により補正する、ANNからSNNへの変換およびレイヤー単位のファインチューニングフレームワークであるプログレッシブタンデム学習（PTL）を提案する。この手法により、深層SNNは、ImageNet-12、画像再構築、音声分離のタスクで最先端のSNNと比較して最大10倍高速な推論と削減されたシナプス演算を実現しながら、競争力ある性能を達成できる。

ABSTRACT

Spiking neural networks (SNNs) have shown clear advantages over traditional artificial neural networks (ANNs) for low latency and high computational efficiency, due to their event-driven nature and sparse communication. However, the training of deep SNNs is not straightforward. In this paper, we propose a novel ANN-to-SNN conversion and layer-wise learning framework for rapid and efficient pattern recognition, which is referred to as progressive tandem learning of deep SNNs. By studying the equivalence between ANNs and SNNs in the discrete representation space, a primitive network conversion method is introduced that takes full advantage of spike count to approximate the activation value of analog neurons. To compensate for the approximation errors arising from the primitive network conversion, we further introduce a layer-wise learning method with an adaptive training scheduler to fine-tune the network weights. The progressive tandem learning framework also allows hardware constraints, such as limited weight precision and fan-in connections, to be progressively imposed during training. The SNNs thus trained have demonstrated remarkable classification and regression capabilities on large-scale object recognition, image reconstruction, and speech separation tasks, while requiring at least an order of magnitude reduced inference time and synaptic operations than other state-of-the-art SNN implementations. It, therefore, opens up a myriad of opportunities for pervasive mobile and embedded devices with a limited power budget.

研究の動機と目的

• 実世界のパターン認識タスクに適した、深層スパイクニューラルネットワーク（SNN）を効率的に訓練する課題に対処すること。
• スパイクニューロンの非微分可能特性と、SNNにおけるバックプロパゲーションの非効率性を克服すること。
• 学習中に制限された重み精度やファンインなどのハードウェア制約を段階的に適用することで、アルゴリズムとニューロモーフィックハードウェアの共同設計を可能にすること。
• 推論遅延とシナプス演算を大幅に削減しながら、パターン認識タスクで高い精度を達成すること。
• 画像認識や音声分離などの大規模タスクにおいて、ANNとSNNの性能格差を埋めること。

提案手法

• アナログニューロンの活性化をスパイク数にマッピングする、素朴なANNからSNNへの変換手法を提案し、効率的なイベント駆動推論を可能にする。
• 初期変換による近似誤差を是正するための、適応的スケジューリングを備えたレイヤー単位の学習戦略を導入する。
• 非微分可能なスパイク関数を経由した時間に沿ったバックプロパゲーションを可能にするために、スラック勾配を採用する。これにより、スパイク関数の非微分性にもかかわらず、エンドツーエンドのトレーニングが可能になる。
• アルゴリズムとハードウェアの共同設計を可能にするために、学習中に制限された重み精度やファンイン接続といったハードウェア制約を段階的に適用する。
• SNNとANNが重みを共有するタンデム学習フレームワークを採用し、SNNが正確なスパイクベース表現を提供し、ANNがスラック勾配を近似する。
• レートコーディングの原則を活用して、固定時間窓内でのスパイク数による連続的活性化の表現を最適化し、推論速度とエネルギー効率を向上させる。

実験結果

リサーチクエスチョン

• RQ1 スパイク数を用いて、ANNからSNNへの変換時に分類精度を保持する形で、アナログニューロンの活性化を効果的に表現できるか？
• RQ2 完全なバックプロパゲーションに依存せずに、素朴なSNN変換に起因する近似誤差を効果的に最小化できるか？
• RQ3 適応的スケジューラを備えたレイヤー単位のトレーニングが、計算コストを抑えたまま深層SNNで競争力ある性能を達成できるか？
• RQ4 制限された重み精度やファンインといったハードウェア制約を、トレーニングプロセスにどの程度統合できるか？ これにより、効率的なニューロモーフィックデプロイメントが可能になるか？
• RQ5 このフレームワークでトレーニングされたSNNが、大規模画像認識や音声分離といった挑戦的なタスクで、ANNの性能に匹敵する性能を達成できるか？

主な発見

• 提案されたPTLフレームワークにより、深層SNNは、オープンセット音声分離タスクで12.8 dBのSI-SDRと2.85のPESQを達成し、ANNベースライン（12.8 dB SI-SDR、2.94 PESQ）に非常に近い性能を示した。
• ImageNet-12のオブジェクト認識タスクにおいて、PTLでトレーニングされたSNNは、ANNの対応するモデルと同等の分類性能を達成した。
• PTLでトレーニングされたSNNは、最先端のSNN実装と比較して、少なくとも1桁以上もシナプス演算を削減し、顕著に短い推論時間を実現した。
• 制限された重み精度を段階的にトレーニング中に埋め込むことで、効果的なアルゴリズム・ハードウェア共同設計が可能となり、実際のニューロモーフィックハードウェア上で最適な性能を発揮することが保証された。
• 画像再構築タスクにおいても、SNNは高い忠実度の再構築を実現し、同性の音声分離条件下ですら、真値に近い高品質な再構築を達成した。
• 聴取テストの結果、SNNが出力する分離音声は、元のANNの出力と聴覚的に区別がつかず、高精度な音声信号再現が確認された。