[論文レビュー] DCT-SNN: Using DCT to Distribute Spatial Information over Time for Learning Low-Latency Spiking Neural Networks

Isha Garg, Sayeed Shafayet Chowdhury+1 more|arXiv (Cornell University)|Oct 5, 2020

Advanced Memory and Neural Computing参考文献 32被引用数 8

ひとこと要約

本稿では、離散コサイン変換（DCT）を用いてピクセルの強度を構造的かつエネルギー効率よく時間的に分散させる、DCT-SNNと呼ばれる新しいスパikingニューラルネットワークを提案する。画像ブロックをDCT係数に符号化し、漏れ積算と発火（LIF）ニューロンに順次基底成分を入力することで、CIFAR-10上で推論遅延をわずか48タイムステップにまで短縮し、トップ1精度89.94％を達成する。また、周波数成分の刈り込みにより、遅延と精度の原理的で制御可能なトレードオフを実現する。

ABSTRACT

Spiking Neural Networks (SNNs) offer a promising alternative to traditional deep learning frameworks, since they provide higher computational efficiency due to event-driven information processing. SNNs distribute the analog values of pixel intensities into binary spikes over time. However, the most widely used input coding schemes, such as Poisson based rate-coding, do not leverage the additional temporal learning capability of SNNs effectively. Moreover, these SNNs suffer from high inference latency which is a major bottleneck to their deployment. To overcome this, we propose a scalable time-based encoding scheme that utilizes the Discrete Cosine Transform (DCT) to reduce the number of timesteps required for inference. DCT decomposes an image into a weighted sum of sinusoidal basis images. At each time step, the Hadamard product of the DCT coefficients and a single frequency base, taken in order, is given to an accumulator that generates spikes upon crossing a threshold. We use the proposed scheme to learn DCT-SNN, a low-latency deep SNN with leaky-integrate-and-fire neurons, trained using surrogate gradient descent based backpropagation. We achieve top-1 accuracy of 89.94%, 68.3% and 52.43% on CIFAR-10, CIFAR-100 and TinyImageNet, respectively using VGG architectures. Notably, DCT-SNN performs inference with 2-14X reduced latency compared to other state-of-the-art SNNs, while achieving comparable accuracy to their standard deep learning counterparts. The dimension of the transform allows us to control the number of timesteps required for inference. Additionally, we can trade-off accuracy with latency in a principled manner by dropping the highest frequency components during inference.

研究の動機と目的

• スパikingニューラルネットワーク（SNN）における高い推論遅延を軽減すること。これは、エネルギー効率が優れているものの、リアルタイム導入を制限する要因である。
• 従来のポissonベースのレート符号化の限界を克服すること。この手法は全タイムステップを均等に扱い、時間的学習能力を活用できない。
• 数学的に最適な変換を用いて、空間的情報を意味のある方法でタイムステップに分散させる時間ベースの符号化方式を開発すること。
• 周波数成分の刈り込みにより、推論遅延と精度の間で制御可能なトレードオフを実現すること。
• 標準的なANNと同等の精度を達成するが、低遅延推論を維持する深層SNNを、サーヴィレント勾配バックプロパゲーションを用いて訓練すること。

提案手法

• 入力画像を4×4の空間的ブロックに分割し、各ブロックに対して2次元離散コサイン変換（DCT）を実行して周波数ドメイン係数を生成する。
• DCT係数を用いて逆DCTにより基底画像を生成し、各基底はエネルギー寄与度の順に整列された正弦波周波数成分を表す。
• 各タイムステップにおいて、現在のDCT基底と対応する係数とのハダマード積を蓄積ニューロンに供給し、時間的に信号を統合する。
• スパイク発生ニューロンは、全16個の基底成分が処理された後、すべての基底成分からの累積入力を統合し、ピクセル強度を再構成する。
• タイムステップ数はDCTブロックサイズに依存する。4×4ブロックでは16タイムステップとなり、遅延の細かい制御が可能になる。
• ネットワークは、VGG風アーキテクチャ上でサーヴィレント勾配降下法を用いて訓練され、DCTベースの符号化により、効率的かつ低遅延な推論が可能になる。

実験結果

リサーチクエスチョン

• RQ1 DCTベースの符号化方式は、分類精度を損なわずにSNNの推論遅延を低減できるか？
• RQ2 順序付けられたDCT基底成分を用いて空間的情報を分散させることで、均一なポisson符号化と比較して時間的利用度が向上するか？
• RQ3 DCT変換により、周波数成分の刈り込みによって、推論遅延と精度の間で原理的で制御可能なトレードオフを実現できるか？
• RQ4 CIFAR-10、CIFAR-100、TinyImageNetにおいて、DCT-SNNは最先端SNNと比較して、精度と遅延の両面で優れた性能を示すか？
• RQ5 DCTベースの符号化は、VGGのようなより深いアーキテクチャへスケーリング可能であり、競争力のある性能を維持できるか？

主な発見

• DCT-SNNは、VGG9アーキテクチャを用いてCIFAR-10で89.94％のトップ1精度を達成し、最先端SNNと同等の性能を発揮しながら、推論遅延を48タイムステップにまで短縮した。
• CIFAR-100では、わずか48タイムステップで68.3％のトップ1精度を達成し、先行の最先端手法と比較して14倍の遅延低減を実現した。
• TinyImageNetでは、125タイムステップで52.43％のトップ1精度を達成し、前回の最先端SNNと比較して2倍の遅延低減を達成した。
• 本手法により、高周波数成分の削除によって、精度の著しい低下を伴わずにタイムステップ数を削減できる制御可能なトレードオフが実現された。
• エネルギー効率分析の結果、DCT-SNNはアーキテクチャに応じて、ANNの対応する実装と比較して1.52〜1.74倍のエネルギー効率の向上を示した。
• DCTベースの符号化は、深層アーキテクチャにおいて、ポisson、位相、バースト、TTFS符号化方式をすべて上回る性能を達成した。