[논문 리뷰] Certified Adversarial Robustness with Additive Gaussian Noise

Bai Li, Changyou Chen외 2명|arXiv (Cornell University)|2018. 09. 10.

Adversarial Robustness in Machine Learning인용 수 6

한 줄 요약

이 논문은 훈련 중에 덧셈 가우시안 노이즈를 사용하여 딥 네ural 네트워크에서 인증된 적대적 방어성(robustness)을 달성하는 확장 가능한 프레임워크를 제안한다. 방어성과 노이즈 주입을 연결함으로써, 이 방법은 편차 크기의 이론적 보장을 제공하며, MNIST, CIFAR-10, ImageNet에서 최신의 확보된 방어 방법과 경쟁 가능한 인증된 방어성을 보여준다.

ABSTRACT

The existence of adversarial data examples has drawn significant attention in the deep-learning community; such data are seemingly minimally perturbed relative to the original data, but lead to very different outputs from a deep-learning algorithm. Although a significant body of work on developing defensive models has been considered, most such models are heuristic and are often vulnerable to adaptive attacks. Defensive methods that provide theoretical robustness guarantees have been studied intensively, yet most fail to obtain non-trivial robustness when a large-scale model and data are present. To address these limitations, we introduce a framework that is scalable and provides certified bounds on the norm of the input manipulation for constructing adversarial examples. We establish a connection between robustness against adversarial perturbation and additive random noise, and propose a training strategy that can significantly improve the certified bounds. Our evaluation on MNIST, CIFAR-10 and ImageNet suggests that the proposed method is scalable to complicated models and large data sets, while providing competitive robustness to state-of-the-art provable defense methods.

연구 동기 및 목표

• 대규모 딥 러닝 모델에서 적대적 예측에 대한 확장 가능하고 이론적으로 탄탄한 방어 수단의 부족을 해결하기 위해.
• 적응 공격에 취약한 히وري스틱 방어 수단의 한계를 극복하기 위해.
• 복잡한 모델과 데이터셋에 대해서도 비트리비얼한 인증된 방어성 범위를 제공하는 훈련 전략을 개발하기 위해.
• 적대적 방어성과 덧셈 랜덤 노이즈의 영향 사이에 이론적 연결을 수립하기 위해.
• 실제 데이터셋인 ImageNet과 같이 확장 가능한 방식으로 인증된 방어성 범위를 향상시키기 위해.

제안 방법

• 이 방법은 입력에 덧셈 가우시안 노이즈를 주입하여 전방 전파 중에 방어성을 향상시키는 훈련 절차를 도입한다.
• 적대적 편차에 대한 방어성과 덧셈 랜덤 노이즈에 대한 방어성 사이에 이론적 연결을 수립한다.
• 노이즈 분산을 기반으로 한 인증된 방어성 범위를 유도하여, 일정한 편차 반경 내에서 예측이 변화하지 않음을 보장한다.
• 랜덤화 스미oothing 기법을 사용하여 방어성 증명을 계산하며, 노이즈 주입을 통해 인증 반경의 크기를 향상시킨다.
• 표준 딥 러닝 파이프라인과 호환되도록 설계되어 대규모 모델과 데이터셋으로의 확장 가능성을 확보한다.
• 모델을 최적화하여 노이즈 주입 분포 하에서 높은 정확도를 유지하면서도 인증된 방어성 반경을 최대화한다.

실험 결과

연구 질문

• RQ1 덧셈 가우시안 노이즈를 사용하여 딥 네ural 네트워크의 이론적 인증된 방어성 범위를 유도할 수 있는가?
• RQ2 노이즈 주입은 대규모 모델과 데이터셋에서 인증된 방어성 반경에 어떤 영향을 미치는가?
• RQ3 이 방법은 ImageNet과 같은 복잡한 모델과 데이터셋으로 확장 가능할 수 있는가? 동시에 경쟁 가능한 방어성 보장을 유지할 수 있는가?
• RQ4 기존의 확보된 방어 방법과 비교할 때, 제안된 방법은 인증된 방어성과 정확도 측면에서 어떻게 다른가?
• RQ5 주입된 노이즈의 분산과 결과적으로 얻어지는 적대적 방어성 사이의 관계는 무엇인가?

주요 결과

• 제안된 방법은 대규모 모델을 사용하더라도 MNIST, CIFAR-10, ImageNet에서 비트리비얼한 인증된 방어성을 달성한다.
• 이 프레임워크는 최신의 확보된 방어 방법과 경쟁 가능한 이론적 보장된 방어성 범위를 제공한다.
• 이 방법은 ImageNet으로 효과적으로 확장되어 고차원적이고 실제 세계적인 환경에서의 인증된 방어성이 가능함을 보여준다.
• 기존의 정규화 없이 비교하는 기준 대비, 훈련 중 노이즈 주입이 인증 반경을 크게 향상시킨다.
• 높은 정순 정확도를 유지하면서도 강력한 방어성을 달성하여 정확도와 방어성 사이의 유리한 트레이드오프를 보여준다.
• 노이즈에 대한 내성과 적대적 방어성 사이의 이론적 연결은 최소한의 아키텍처 수정으로 실용적인 증명을 가능하게 한다.