[논문 리뷰] Block switching: a stochastic approach for deep learning security

Sang Chin|arXiv (Cornell University)|2020. 02. 18.

Adversarial Robustness in Machine Learning참고 문헌 21인용 수 9

한 줄 요약

이 논문은 추론 시 다수의 병렬 레이어 블록 중에서 무작위로 선택하는 방식으로 적대적 공격를 방해하기 위해 블록 스위칭(Blocks Switching, BS)이라는 확률적 방식을 제안한다. BS는 입력 기울기의 산산이 흩어지는 방식으로 강건성을 향상시켜 정상 테스트 정확도의 감소를 최소화하면서 다양한 공격 유형과 다른 방어 기법과의 호환성을 확보하며 뛰어난 방어 성능을 달성한다.

ABSTRACT

Recent study of adversarial attacks has revealed the vulnerability of modern deep learning models. That is, subtly crafted perturbations of the input can make a trained network with high accuracy produce arbitrary incorrect predictions, while maintain imperceptible to human vision system. In this paper, we introduce Block Switching (BS), a defense strategy against adversarial attacks based on stochasticity. BS replaces a block of model layers with multiple parallel channels, and the active channel is randomly assigned in the run time hence unpredictable to the adversary. We show empirically that BS leads to a more dispersed input gradient distribution and superior defense effectiveness compared with other stochastic defenses such as stochastic activation pruning (SAP). Compared to other defenses, BS is also characterized by the following features: (i) BS causes less test accuracy drop; (ii) BS is attack-independent and (iii) BS is compatible with other defenses and can be used jointly with others.

연구 동기 및 목표

• 비정상적인 적대적 편향으로 인해 오분류를 유도하는 눈에 띄지 않는 편향에 대한 딥러닝 모델의 취약성을 해결한다.
• 공격 방법에 대한 사전 지식 없이 다양한 공격 유형에 대해 강건한 방어 메커니즘을 개발한다.
• 정상 테스트 정확도의 감소를 최소화하면서 적대적 예제에 대한 강건성을 향상시킨다.
• 기존의 방어 기법과의 호환성을 확보하여 통합 개선이 가능한 방어 기법을 설계한다.
• 병렬 블록을 통해 체계적인 방식으로 확률성을 도입하여 기울기 분산과 모델의 강건성을 향상시킨다.

제안 방법

• 확률성을 도입하기 위해 모델 레이어 블록을 다수의 병렬로 동일한 서브넷(채널)으로 대체한다.
• 추론 시 한 개의 활성 채널만 무작위로 선택하여 공격자가 모델의 행동을 예측할 수 없도록 한다.
• 추론 시 채널 활성화에 균일한 랜덤 선택 정책을 사용하여 예측 불가능성을 확보한다.
• 모든 채널 간에 동일한 아키텍처와 파라미터를 유지하여 모델 용량과 훈련 일관성을 유지한다.
• 기존 딥러닝 모델에 아키텍처의 대대적인 수정 없이도 삽입 가능한 모듈러 컴포넌트로 BS를 통합한다.
• 채널 선택의 확률성으로 입력 기울기 분포를 산산이 흩어지게 하여 기울기 기반 공격의 효과를 감소시킨다.

실험 결과

연구 질문

• RQ1 무작위 블록 선택을 통해 도입된 확률성이 적대적 공격에 대한 강건성을 향상시키는가?
• RQ2 블록 스위칭은 기존의 확률적 방어 기법인 스위치드 액티베이션 프루닝(SAP)과 비교해 강건성과 정확도 측면에서 어떻게 다른가?
• RQ3 블록 스위칭은 다양한 공격 유형에 대해 높은 정상 테스트 정확도를 유지하면서 방어 기능을 수행하는가?
• RQ4 블록 스위칭은 화이트박스 및_BLK박스 적대적 공격 모두에 효과적인가?
• RQ5 블록 스위칭은 다른 방어 기법과 조합되어 더 높은 강건성을 달성하는가?

주요 결과

• 입력 기울기 분포의 분산 정도가 더 높다는 점에서, 블록 스위칭은 스위치드 액티베이션 프루닝(SAP)보다 뛰어난 방어 성능을 보였다.
• 기타 확률적 방어 기법들보다 블록 스위칭이 정상 테스트 정확도 감소 폭이 현저히 작아 모델의 유용성을 유지한다.
• 다양한 공격 유형에 대해 효과적이며, 공격 방법에 대한 사전 지식 없이도 공격 독립성을 보였다.
• 기존의 방어 기법과 호환되며, 이를 함께 사용하여 전체적인 강건성을 향상시킬 수 있다.
• 실험 결과, BS는 높은 정상 정확도를 유지하면서도 강건성을 향상시켜 유리한 강건성-정확도 트레이드오프를 보였다.
• 채널 선택의 확률성으로 인해 기울기 기반 공격 최적화 과정이 방해되어 공격자가 효과적인 편향을 만드는 것을 어렵게 했다.