[논문 리뷰] Adversarially Robust Spiking Neural Networks Through Conversion

Ozan Özdenizci, Robert Legenstein|arXiv (Cornell University)|2023. 11. 15.

Advanced Memory and Neural Computing인용 수 4

한 줄 요약

이 논문은 사전 훈련된 강건한 ANN에서 SNN로의 강건성 전이를 위해 합성 연결 가중치와 계층별 발화 임계치를 모두 후처리 변환 시에 적대적 미세조정하는 새로운 적대적 강건한 SNN 변환 방법을 제안한다. 이 방법은 저지연성과 함께 최신 기술 수준의 강건성을 달성하며, 정상 훈련 방식에 비해 강건성 정확도에서 최대 2배까지 우수한 성능을 보이며, 변환 과정에서 배치 정규화 동역학을 유지한다.

ABSTRACT

Spiking neural networks (SNNs) provide an energy-efficient alternative to a variety of artificial neural network (ANN) based AI applications. As the progress in neuromorphic computing with SNNs expands their use in applications, the problem of adversarial robustness of SNNs becomes more pronounced. To the contrary of the widely explored end-to-end adversarial training based solutions, we address the limited progress in scalable robust SNN training methods by proposing an adversarially robust ANN-to-SNN conversion algorithm. Our method provides an efficient approach to embrace various computationally demanding robust learning objectives that have been proposed for ANNs. During a post-conversion robust finetuning phase, our method adversarially optimizes both layer-wise firing thresholds and synaptic connectivity weights of the SNN to maintain transferred robustness gains from the pre-trained ANN. We perform experimental evaluations in a novel setting proposed to rigorously assess the robustness of SNNs, where numerous adaptive adversarial attacks that account for the spike-based operation dynamics are considered. Results show that our approach yields a scalable state-of-the-art solution for adversarially robust deep SNNs with low-latency.

연구 동기 및 목표

• 적대적 공격에 대비한 확장 가능한 강건한 훈련 방법이 부족한 스파이킹 신경망(SNNs)의 문제를 해결하기 위해.
• 스파iking 기반 역전파로 인한 계산 불가능성과 기울기 혼란으로 인해 고통받는 SNN에서의 종단 간 적대적 훈련의 한계를 극복하기 위해.
• 기존에 훈련된 적대적 훈련된 ANN에서 SNN로의 강건성 전이를 변환 기반 프레임워크를 통해 가능하게 하기 위해.
• 재훈련이 필요 없이 ANN 전용으로 설계된 강건한 학습 목표를 SNN에 통합하기 위해.
• 표준 SNN 변환 파이pline에서 생략되는 것을 방지하기 위해 변환 과정에서 배치 정규화 레이어의 이점을 유지하기 위해.

제안 방법

• 사전 훈련된 강건한 인공신경망(ANN)을 하이브리드 변환 방법을 사용하여 스파이킹 신경망(SNN)으로 변환하여 네트워크 구조와 가중치를 유지한다.
• SNN에서 합성 연결 가중치와 계층별 발화 임계치를 모두 적대적 미세조정하여 ANN에서 전달된 강건성을 유지하고 향상시킨다.
• 사전 훈련된 ANN의 배치 정규화 파rameter를 새로운 시간 기반 배치 정규화(tdBN) 레이어를 사용하여 SNN에 통합하여 적대적 훈련을 지원한다.
• SNN 동역학에 맞는 미분 가능한 근사치를 사용하여 적응형 적대적 공격를 구성하여 평가 시 시간적 스파이크 행동을 고려한다.
• 고정된 시뮬레이션 시간 창 T를 사용하여 속도 또는 직접 입력 코딩을 적용하여 SNN의 성능을 적대적 공격 하에서 평가한다.
• 다양한 편향 예산(ε)을 가진 PGD 기반 적대적 공격를 적용하여 다양한 설정에서의 강건성 수준을 평가한다.

실험 결과

연구 질문

• RQ1 기존에 훈련된 적대적 훈련된 ANN에서 변환과 미세조정을 통해 SNN로 강건성이 효과적으로 전이될 수 있는가?
• RQ2 SNN에서 가중치와 발화 임계치를 모두 적대적으로 미세조정하는 것이 표준 변환 방식에 비해 강건성 향상에 뚜렷한 기여를 하는가?
• RQ3 배치 정규화 레이어가 표준 SNN 변환 파이pline에서 생략되는 것을 방지하면서도 SNN 변환 과정에서 유지되고 효과적으로 활용될 수 있는가?
• RQ4 SNN에서 종단 간 적대적 훈련과 비교했을 때, 제안된 방법은 강건성 정확도와 지연 시간 측면에서 어떻게 성능을 내는가?
• RQ5 이 방법은 노이즈, 블러, 기상 변화와 같은 분포 외 오염에 대해 일반화 능력을 얼마나 향상시키는가?

주요 결과

• 제안된 방법은 PGD-20 공격(ε=1.0) 하에서 CIFAR-10에서 최신 기술 수준의 강건성 정확도 92.14%를 달성하며, 이는 이전 최고 기록을 초월한다.
• 60 에포크의 적대적 미세조정을 통해 CIFAR-10에서 13.18%의 강건성 정확도를 달성하였으며, 이는 2 에포크 기반 미세조정 기준(12.97%)과 1 에포크 기준(11.42%)보다 뚜렷이 뛰어나다.
• 분포 외 일반화 능력이 향상되어 CIFAR-10-C에서는 평균 83.85%의 정확도, CIFAR-100-C에서는 54.06%의 정확도를 기록하였으며, 이는 바닐라 SNN 및 SNN-RAT를 모두 능가한다.
• SNN-RAT 기준은 노이즈에 대한 강건성이 향상되었지만, 다른 오염 유형에선 성능이 열 劣하다. 반면 제안된 방법은 모든 오염 유형에서 일관된 성능 향상을 유지한다.
• 절단 실험 결과, 강건한 미세조정 단계가 필수적임을 확인하였으며, 이 단계가 없는 모델은 직접 입력 코딩과 T=8 조건에서도 변환 후 우연의 정확도 수준에 머무른다.
• 강건성-정확도 트레이드오프를 줄였으며, 정상 정확도 92.14%를 유지하면서 PGD-20 기준 강건성 정확도 13.18%를 달성하였다.