[論文レビュー] Masked Spiking Transformer

Ziqing Wang, Yuetong Fang+4 more|arXiv (Cornell University)|Oct 3, 2022

Advanced Memory and Neural Computing被引用数 5

ひとこと要約

本論文は、アーティフィシャルニューラルネットワーク（ANN）からスパikingニューラルネットワーク（SNN）への変換手法を活用して、画像分類において最先端の性能を達成する新しいSNNアーキテクチャ、マスクドスパikingトランスフォーマー（MST）を提案する。ランダムスパイクマスキング（RSM）を導入することで、推論中に不要なスパイクをプルーニングし、75%のマスキング比で性能に損なわれることなく消費電力を26.8%低減した。これは、高いエネルギー効率とモデルのロバスト性を示している。

ABSTRACT

The combination of Spiking Neural Networks (SNNs) and Transformers has attracted significant attention due to their potential for high energy efficiency and high-performance nature. However, existing works on this topic typically rely on direct training, which can lead to suboptimal performance. To address this issue, we propose to leverage the benefits of the ANN-to-SNN conversion method to combine SNNs and Transformers, resulting in significantly improved performance over existing state-of-the-art SNN models. Furthermore, inspired by the quantal synaptic failures observed in the nervous system, which reduces the number of spikes transmitted across synapses, we introduce a novel Masked Spiking Transformer (MST) framework that incorporates a Random Spike Masking (RSM) method to prune redundant spikes and reduce energy consumption without sacrificing performance. Our experimental results demonstrate that the proposed MST model achieves a significant reduction of 26.8% in power consumption when the masking ratio is 75% while maintaining the same level of performance as the unmasked model.

研究の動機と目的

• ImageNet分類のような複雑なビジョンタスクにおいて、SNNとANNの性能差を埋めるため。
• 特にトランスフォーマーに基づくアーキテクチャにおいて、精度を損なわずSNNの消費電力を低減するため。
• ANNからSNNへの変換手法をSNNにおける完全な自己注意機構に適用可能かどうかを検証するため。
• モデル性能を維持しながら不要なスパイク伝送を削減する汎用的なスパイクプルーニング手法を開発するため。

提案手法

• MSTフレームワークは、事前に訓練されたアーティフィシャルトランスフォーマーをスパキング版に変換するANNからSNNへの変換手法を用い、高い精度を維持する。
• 推論時にランダムスパイクマスキング（RSM）を適用し、入力スパイクの一部をランダムに破棄することで、スパイク数とエネルギー消費を削減する。
• RSM手法は、トランスフォーマーブロック内の自己注意モジュールおよびMLPモジュールの両方に適用され、不要なスパイク活動を標的とする。
• トレーニングの安定性とSNNとの互換性を向上させるために、トランスフォーマーブロックでバッチ正規化（BN）層を層正規化（LN）層に置き換える。
• マスキング比を0%、50%、75%と変化させ、エネルギー節約と性能低下のトレードオフを評価する。
• スウィントランスフォーマー、ResNet18、VGG16を含む複数のアーキテクチャで評価され、トランスフォーマーに限らず一般化可能であることが示された。

実験結果

リサーチクエスチョン

• RQ1 ANNからSNNへの変換手法を、SNNにおける完全な自己注意機構に効果的に適用できるか？
• RQ2 SNNにおいて、精度を損なわず、ランダムマスキングによってどれほど不要なスパイクをプルーニングできるか？
• RQ3 ランダムスパイクマスキング（RSM）手法は、異なるSNNアーキテクチャにおいて消費電力と推論性能にどのように影響を与えるか？
• RQ4 RSM手法はトランスフォーマーを越えて、ResNet や VGG などの他のディープスパキングネットワークに対しても一般化可能か？
• RQ5 スパキングトランスフォーマーモデルにおいて、エネルギー効率とモデル精度のバランスを最適化するマスキング比は何か？

主な発見

• マスクドスパキングトランスフォーマー（MST）は、CIFAR-10、CIFAR-100、ImageNetの各タスクにおいて、以前のSOTA SNNモデルよりもトップ-1精度をそれぞれ1.21%、7.3%、3.7%向上させた。
• 75%のマスキング比で、MSTモデルは同じ精度を維持しながら消費電力を26.8%削減した。
• RSM手法により、MSTモデルにおけるスパイク伝送が最大74%まで削減され、性能に影響を与えずに顕著なエネルギー節約が達成された。
• ResNet18では、75%のマスキング比で消費電力を30.1%削減したが、3.6%の精度低下を示した。これは、高マスキング比におけるトレードオフを示している。
• MSTモデルの注意マップは、さまざまなマスキング比において一貫して物体関連領域に注目していることが確認され、重要な情報が保持されていることが裏付けられた。
• RSM手法は、非トランスフォーマーSNNに対しても効果的に一般化され、ResNet18およびVGG16において中程度から顕著なエネルギー節約が達成された。