[논문 리뷰] AutoST: Training-free Neural Architecture Search for Spiking Transformers

Ziqing Wang, Qidong Zhao외 3명|arXiv (Cornell University)|2023. 07. 01.

Advanced Memory and Neural ComputingEngineering인용 수 3

한 줄 요약

AutoST는 스파iking 트랜스포머를 위한 훈련 불필요 신경망 구조 탐색(NAS) 방법을 제안한다. 이 방법은 비가역성과 높은 희소성으로 인해 비가역적인 스파이크 신호와 높은 희소성을 가지는 SNN의 문제를 피하기 위해 성능 예측자로 부동소수점 연산(FLOPs)을 사용한다. CIFAR-10, CIFAR-100, 그리고 CIFAR10-DVS에서 최신 기준 성능을 달성하며, 이전 수작업 및 자동 설계된 SNN보다 최대 9.10% 높은 정확도를 기록한다.

ABSTRACT

Spiking Transformers have gained considerable attention because they achieve both the energy efficiency of Spiking Neural Networks (SNNs) and the high capacity of Transformers. However, the existing Spiking Transformer architectures, derived from Artificial Neural Networks (ANNs), exhibit a notable architectural gap, resulting in suboptimal performance compared to their ANN counterparts. Manually discovering optimal architectures is time-consuming. To address these limitations, we introduce AutoST, a training-free NAS method for Spiking Transformers, to rapidly identify high-performance Spiking Transformer architectures. Unlike existing training-free NAS methods, which struggle with the non-differentiability and high sparsity inherent in SNNs, we propose to utilize Floating-Point Operations (FLOPs) as a performance metric, which is independent of model computations and training dynamics, leading to a stronger correlation with performance. Our extensive experiments show that AutoST models outperform state-of-the-art manually or automatically designed SNN architectures on static and neuromorphic datasets. Full code, model, and data are released for reproduction.

연구 동기 및 목표

• 스파iking 트랜스포머와 그 ANN 대응체 간의 성능 격차를 아키텍처 불일치로 인해 해결하기 위해.
• 기존 SNN의 NAS 방법이 역전파에 의존하고 비가역적인 스파이크와 높은 희소성으로 인해 악영향을 받는 문제를 극복하기 위해.
• 모델 훈련이 필요 없이 고성능 스파이킹 트랜스포머 아키텍처를 신속하게 식별할 수 있는 훈련 불필요 NAS 프레임워크를 개발하기 위해.
• 기울기와 희소성에 영향을 받지 않는, 훈련 불필요한 신뢰할 수 있는 성능 예측자로 FLOPs를 확립하기 위해.
• 정적 및 뉴로모픽 데이터셋에서 광범위한 평가를 통해 뛰어난 일반화 능력과 효율성을 입증하기 위해.

제안 방법

• AutoST는 깊이, 너비, 임bedding 차원을 설정 가능한 스파이킹 트랜스포머 아키텍처의 검색 공간을 사용한다.
• 후행 전파와 활성화 패tern 분석을 피하기 위해, 후보 아키텍처를 평가할 때 FLOPs를 성능 대체 지표로 사용한다.
• SNN에서 FLOPs와 실제 모델 성능 간의 강력한 상관관계를 활용하여, 비가역적인 스파이크와 희소 활성화로 인한 문제를 우회한다.
• 후보 아키텍처는 FLOPs 기반으로 생성 및 순위 매겨지며, 훈련 또는 기울기 계산이 필요 없다.
• 최종 아키텍처는 FLOPs 순위에 기반하여 선택되며, 이는 다양한 데이터셋에서 하류 정확도와 강하게 상관된다.
• CIFAR-10, CIFAR-100, 그리고 CIFAR10-DVS에서 최신 기준 SNN 모델과의 비교 및 추론 분석을 통해 방법의 타당성을 검증하였다.

실험 결과

연구 질문

• RQ1 SNN의 비가역성과 희소성로 인해 스파이킹 트랜스포머에 대해 FLOPs가 효과적인 훈련 불필요 성능 예측자로 기능할 수 있는가?
• RQ2 훈련 기반 NAS 및 수작업 아키텍처 설계에 비해 훈련 불필요 NAS 접근법이 스파이킹 트랜스포머 성능에서 뛰어나게 성능을 높일 수 있는가?
• RQ3 깊이, 너비, 타임스텝과 같은 아키텍처 선택이 스파이킹 트랜스포머 성능에 어떻게 영향을 미치는가?
• RQ4 AutoST 검색에서 도출된 아키텍처 패턴은 기존 SNN 설계와 어떻게 다를 수 있는가?
• RQ5 AutoST는 정적 및 뉴로모픽 데이터셋, 특히 과적합 문제를 야기할 수 있는 데이터셋에서도 효과적으로 일반화될 수 있는가?

주요 결과

• AutoST 모델은 CIFAR-10에서 최신 기준 SNN을 초월하며, 34.44M 파라미터로 74.54%의 top-1 정확도를 기록하여 Spikformer-10-512보다 0.86% 높다.
• CIFAR-100에서 AutoST -base는 74.54%의 정확도를 기록하여 기존 최고의 SNN보다 4.34% 높다.
• 뉴로모픽 데이터셋인 CIFAR10-DVS에서 AutoST -tiny는 81.6%의 정확도를 기록하여 이전 최고 기록보다 7.2% 높으며, 더 적은 파라미터를 사용한다.
• AutoST -small 모델(14.68M 파라미터)은 71.02%의 정확도를 기록하여 Spikformer-8-384(16.81M 파라미터)를 0.78% 초월한다.
• 검색 과정은 더 넓고 얕은 아키텍처를 선호하며, 이는 양자화 오차 누적을 완화하고 정확도를 향상시킨다.
• 타임스텝 4가 최적임이 확인되었으며, 이는 정확도와 효율성의 균형을 맞추는 데 기여하고, 이 수준까지 성능 향상이 지속된다.