[논문 리뷰] Training Full Spike Neural Networks via Auxiliary Accumulation Pathway

Guangyao Chen, Peixi Peng외 2명|arXiv (Cornell University)|2023. 01. 27.

Advanced Memory and Neural Computing인용 수 9

한 줄 요약

본 논문은 정보 손실을 완화하기 위해 완전 스파이크 신경망(full-spike neural networks)에 분리 가능한 Auxiliary Accumulation Pathway (AAP)를 추가하는 Dual-Stream Training (DST)을 제안하여, 테스트 시 비스파이크 MAC를 선택적으로 사용할 수 있는 고성능 FSNN을 구현하고 판별력을 향상시킵니다.

ABSTRACT

Due to the binary spike signals making converting the traditional high-power multiply-accumulation (MAC) into a low-power accumulation (AC) available, the brain-inspired Spiking Neural Networks (SNNs) are gaining more and more attention. However, the binary spike propagation of the Full-Spike Neural Networks (FSNN) with limited time steps is prone to significant information loss. To improve performance, several state-of-the-art SNN models trained from scratch inevitably bring many non-spike operations. The non-spike operations cause additional computational consumption and may not be deployed on some neuromorphic hardware where only spike operation is allowed. To train a large-scale FSNN with high performance, this paper proposes a novel Dual-Stream Training (DST) method which adds a detachable Auxiliary Accumulation Pathway (AAP) to the full spiking residual networks. The accumulation in AAP could compensate for the information loss during the forward and backward of full spike propagation, and facilitate the training of the FSNN. In the test phase, the AAP could be removed and only the FSNN remained. This not only keeps the lower energy consumption but also makes our model easy to deploy. Moreover, for some cases where the non-spike operations are available, the APP could also be retained in test inference and improve feature discrimination by introducing a little non-spike consumption. Extensive experiments on ImageNet, DVS Gesture, and CIFAR10-DVS datasets demonstrate the effectiveness of DST.

연구 동기 및 목표

• Spike-만 작동으로 고정밀도로 완전 스파이크 기반 신경망(FSNN)을 학습시키는 동기 부여 및 가능하게 하기.
• 깊은 FSNN에서 정보 손실 및 기울어짐 소실을 분리 가능한 보조 경로를 통해 해결하기.
• 에너지 효율적인 뉴로모픽 하드웨어에 대해 테스트 시 비스파이크 연산 제거가 가능한 학습 전략을 제공하기.
• ImageNet, DVS Gesture, CIFAR10-DVS 데이터셋에서 DST의 확장성 시연하기.

제안 방법

• 전체 스파이크 전달 스트림과 플러그 앤 플레이 가능한 Auxiliary Accumulation Pathway (AAP)로 구성된 Dual-Stream Training (DST) 프레임워크를 도입한다.
• AAP의 스파이크 누적을 사용하여 정방향 및 역전파 정보 손실을 보상하고 깊은 Spiking ResNets의 기울어짐 소실을 완화한다.
• 두 출력의 손실을 결합하는 일관된 목표를 정의한다: L(x,y)=Lc(Os,y)+Lc(Oa,y).
• f_l 경로의 마지막 BN을 0으로 만들거나 시그널을 필요에 따라 보존하도록 스파이크 뉴런을 구성하여 두 스트림 간의 항등 매핑을 달성한다.
• 추론 시 AAP를 제거하여 FSNN의 에너지 효율성을 보존하고, 가능할 때 AAP 비스파이크 MAC의 유지도 선택적으로 허용한다.

실험 결과

연구 질문

• RQ1 DST가 정보 손실과 기울어짐 소실을 완화하여 깊은 FSNN의 학습을 향상시킬 수 있는가?
• RQ2 auxiliary accumulation pathway가 ImageNet과 같은 대규모 데이터셋에서 스파이크 전용 추론으로 높은 정확도를 가능하게 하는가?
• RQ3 추론 시 Auxiliary Accumulation Pathway를 유지 versus 제거하는 것이 정확도와 에너지 소비에 어떤 영향을 미치는가?
• RQ4 DST는 고정 이미지와 뉴로모피즘 이벤트 기반 데이터 같은 다양한 데이터 유형에서 이전의 FSNN 및 혼합 정밀도 SNN 방법과 비교해 어떤 성능을 보이는가?

주요 결과

• DST로 학습된 FSNN은 처음부터 학습된 이전의 Spiking ResNet보다 더 높은 성능을 달성하고 깊이에 따라 스케일링된다.
• DST가 적용된 FSNN은 Spiking ResNet 및 일부 이전 FSNN 방법보다 더 나은 성능을 보이면서 계산 소모를 낮은 수준으로 유지한다.
• 추론 시 AAP를 포함한 DSNN은 FSNN 단독 대비 판별력을 더욱 향상시키고 여러 설정에서 혼합 정밀도 SEW ResNet을 능가한다.
• 깊이가 깊어짐에 따라 비스파이크 누적 계산이 선형으로 증가하는 반면, 주요 MAC 비용은 스파이크 중심 하향 샘플링을 통해 제어된다.
• ImageNet, DVS Gesture, CIFAR10-DVS 실험에서 DST는 처음부터 학습된 ResNet 기반 및 Transformer 기반 SNN의 정확도와 계산면에서 개선을 보인다.
• DST를 적용한 Spike Transformer는 대규모 비스파이크 MAC 오버헤드를 피하면서도 경쟁력 있는 성능을 유지한다.