[논문 리뷰] Toward Robust Spiking Neural Network Against Adversarial Perturbation

Ling Liang, Kaidi Xu외 3명|arXiv (Cornell University)|2022. 04. 12.

Advanced Memory and Neural Computing인용 수 8

한 줄 요약

이 논문은 스파iking 신경망(SNNs)의 고유한 비선형성과 입력 유형(스파이크/디지털)을 정식화함으로써, S-IBP와 S-CROWN을 제안하여 SNNs에 대한 최초의 인증 가능 강건 훈련 방법을 개발한다. 기존 정확도가 3.7% 감소하는 데 그치지만, 적대적 공격 오차가 최대 37.7% 감소하여, 처음으로 엔드 투 엔드 강건 SNN 훈련 프레임워크를 구현한다.

ABSTRACT

As spiking neural networks (SNNs) are deployed increasingly in real-world efficiency critical applications, the security concerns in SNNs attract more attention. Currently, researchers have already demonstrated an SNN can be attacked with adversarial examples. How to build a robust SNN becomes an urgent issue. Recently, many studies apply certified training in artificial neural networks (ANNs), which can improve the robustness of an NN model promisely. However, existing certifications cannot transfer to SNNs directly because of the distinct neuron behavior and input formats for SNNs. In this work, we first design S-IBP and S-CROWN that tackle the non-linear functions in SNNs' neuron modeling. Then, we formalize the boundaries for both digital and spike inputs. Finally, we demonstrate the efficiency of our proposed robust training method in different datasets and model architectures. Based on our experiment, we can achieve a maximum $37.7\%$ attack error reduction with $3.7\%$ original accuracy loss. To the best of our knowledge, this is the first analysis on robust training of SNNs.

연구 동기 및 목표

• 스파킹 신경망(SNNs)에서 점점 더 널리 쓰이는 효율성 중심의 응용 분야에서 증가하는 적대적 공격에 대한 보안 우려를 해결하기 위해.
• 이전에 인공 신경망(ANNs)에서 효과적이었던 인증 가능 강건 훈련 방법을, 뉴런 동역학과 입력 형식이 상당히 다름으로써 SNNs로 확장하기 위해.
• SNNs 내에서 ℓ₀ 및 ℓ∞ 노름을 사용하여 스파이크 입력과 디지털 입력에 대한 입력 경계를 정식화하기 위해.
• SNNs에서 적대적 편향에 대한 보장된 강건성을 보장하는 강건 훈련 프레임워크를 개발하기 위해.
• 다양한 데이터셋과 네트워크 아키텍처를 통해 방법의 효과성을 평가하여, 강건성과 정확도 사이의 실용적 트레이드오프를 입증하기 위해.

제안 방법

• SNNs의 비선형 스파이크-화염 함수와 시간적 막전위 업데이트를 다룰 수 있도록, 인증 훈련을 확장한 S-IBP와 S-CROWN을 제안하기 위해.
• 공간적(컨볼루션/완전연결) 및 시간적(누설 적분) 구성 요소를 포함한 SNN 연산에 대한 선형화 근사 경계를 정식화하기 위해.
• 스파이크 입력(ℓ₀ 및 ℓ∞ 노름 사용)과 디지털 입력에 대한 입력 경계를 정의하여, 다양한 입력 유형 간의 강건성 인증을 가능하게 하기 위해.
• 시간 동역학의 포괄성과 계산 효율성의 균형을 위해, 훈련 중에 수정된 시간스텝 스케줄 T′(3로 설정)를 사용하기 위해.
• S-CROWN 손실을 통해 청소정확도와 인증 가능 강건성을 동시에 최적화함으로써, 엔드 투 엔드로 강건 훈련 절차를 적용하기 위해.
• 다양한 데이터셋과 아키텍처에서 원래 정확도와 강건 오차 감소 사이의 트레이드오프를 고려하여, 강건 훈련에 적합한 ε 값을 선별하기 위해.

실험 결과

연구 질문

• RQ1 SNNs의 뉴런 동역학과 입력 형식이 다름에도 불구하고, ANNs에서 효과적이었던 인증 가능 강건 훈련 방법을 SNNs에 적응시킬 수 있는가?
• RQ2 SNNs의 비선형 스파이크-화염 함수와 시간적 막전위 업데이트에 대해 날카운 경계를 정식으로 유도할 수 있는가?
• RQ3 SNNs에서 ℓ₀ 및 ℓ∞ 노름 하에 스파이크 입력과 디지털 입력에 대해 효과적인 입력 경계 정식화는 무엇인가?
• RQ4 강건 훈련에 사용하는 시간스텝 T′의 선택이 SNNs에서 청소정확도와 강건성 사이의 트레이드오프에 미치는 영향은 어떠한가?
• RQ5 인증 가능 강건 훈련은 SNNs에서 적대적 공격 오차를 얼마나 줄일 수 있으며, 기존 모델 정확도를 유지할 수 있는가?

주요 결과

• 제안된 S-IBP와 S-CROWN 방법은 MNIST 데이터셋에서 기존 정확도가 3.7% 감소하는 데 그치지만, 적대적 공격 오차를 최대 37.7% 감소시켰다.
• MNIST, FMNIST, NMNIST를 포함한 여러 데이터셋에서 개선된 강건성을 보이며, 일관된 성능 향상을 보였다.
• 강건 훈련에 최적의 시간스텝 T′는 3으로 확인되었으며, 이는 시간 동역학의 포괄성과 계산 효율성 사이의 균형을 잘 맞춘 것으로 나타났다.
• 특히 더 큰 ε 값에서, 완전연결 네트워크보다 컨볼루션 네트워크에서 강건 훈련이 더 안정적인 편이었다.
• 강건성 향상은 컨볼루션 아키텍처에서 가장 두드러졌으며, 이는 높은 파rameter 용량 덕분에 적대적 편향에 더 잘 적응할 수 있었기 때문이다.
• 훈련 시 더 작은 ε를 사용함에도 불구하고, 더 큰 ε 공격에 대해 향상된 강건성을 보였으며, 이는 인증 경계의 강력한 일반화 능력을 시사한다.