[논문 리뷰] Theoretical evidence for adversarial robustness through randomization

Rafaël Pinot, Laurent Meunier외 5명|arXiv (Cornell University)|2019. 02. 04.

Adversarial Robustness in Machine Learning참고 문헌 49인용 수 35

한 줄 요약

본 논문은 추론 시 지수족 분포에서의 노이즈 주입이 적대적 강건성을 유도한다는 이론적 보장을 제시하고, 적대적 일반화 격차를 상한한다는 것을 입증하며, CIFAR/ImageNet 실험으로 이를 확인한다.

ABSTRACT

This paper investigates the theory of robustness against adversarial attacks. It focuses on the family of randomization techniques that consist in injecting noise in the network at inference time. These techniques have proven effective in many contexts, but lack theoretical arguments. We close this gap by presenting a theoretical analysis of these approaches, hence explaining why they perform well in practice. More precisely, we make two new contributions. The first one relates the randomization rate to robustness to adversarial attacks. This result applies for the general family of exponential distributions, and thus extends and unifies the previous approaches. The second contribution consists in devising a new upper bound on the adversarial generalization gap of randomized neural networks. We support our theoretical claims with a set of experiments.

연구 동기 및 목표

• 무작위 방어에 대해 적대적 공격에 대한 강건성을 동기부여하고 형식화한다.
• 확률적 매핑에 대한 강건성을 정의하고 Renyi 발산을 적합한 지표로 정당화한다.
• 지수족 노이즈와 강건성, 적대적 일반화 격차의 상한 사이의 이론적 보장을 제공한다.
• CIFAR-10/100 및 ImageNet에 대한 실험으로 노이즈 주입 네트워크가 경쟁력 있는 정확도-강건성 트레이드오프를 달성함을 시연한다.

제안 방법

• M으로 입력을 출력 분포로 매핑하는 확률적 맵핑으로 방어를 모델화한다.
• 강건성을 정의하고 이를 지수족 노이즈 주입과 연관시키기 위해 Renyi 발산 d_R,λ을 사용한다.
• 정리 1: 지수족 노이즈가 d_R,λ-(α,ε)-강건성을 보장하며, ε는 노이즈 매개변수와 네트워크 민감도에 따라 명시적으로 의존한다는 것을 증명한다.
• 정리 2: 위험도 차이 Risk_α(M) − Risk(M)을 ε와 엔트로피 H(M(x))에 따라 상한한다는 것을 증명한다.
• 데이터 처리 속성(정리 2)을 보여주어 이후의 결정론적 매핑에서도 강건성이 유지됨을 정당화한다.
• 실용적 구현으로 CNN 및 ResNet에 Laplace 및 Gaussian 노이즈를 주입하고 반복적 공격에 대해 평가함으로써 실용적 구현을 제공한다.

실험 결과

연구 질문

• RQ1 지수족 분포에서 샘플링된 노이가 무작위 네트워크의 적대적 공격에 대한 강건성에 어떤 영향을 미치는가?
• RQ2 지수족 노이즈로 방어되는 분류기의 공격 하에서 정확도 손실에 대한 상한을 보장할 수 있는가?
• RQ3 발산의 선택(Renyi 대 전체 변화 등)이 강건성 보장에 어떤 영향을 미치는가?
• RQ4 현실적으로 노이즈 수준과 정확도/강건성 사이의 트레이드오프는 어떻게 나타나는가?

주요 결과

• 지수족 분포에서 노이즈를 샘플링할 때 강건성이 달성되며, 명시된 Renyi-발산 기반 보장(Theorem 1)이 성립한다.
• Renyi 강건성은 전체 변화 강건성과 연결되어 이론적 보장을 실질적 지표로 연결한다(정리 1).
• 적대적 일반화 격차에 대한 상한이 설정되며: Risk_α(M) − Risk(M) ≤ 1 − e^(-ε) E_x[e^{-H(M(x))]} (Theorem 2).
• 추론 시 Gaussian 또는 Laplace 노이즈를 주입하면 노이즈가 커질수록 강건성이 증가하지만 자연 정확도가 감소하는 트레이드오프가 관찰되어 정확도-강건성의 균형을 보여준다(CIFAR-10/100 및 ImageNet에 대한 실험).
• 실험 결과 무작위화된 모델은 작은 노이즈에서도 자연 정확도가 비무작위 모델에 가까워지고 반복적 공격(PGD, C&W, EAD) 대비 일부 설정에서 대립적 학습과 비교해도 경쟁력 있는 강건성을 보인다(표 1 및 논의 참조).
• 데이터 처리 속성은 결정적 레이어와의 조합에서도 강건성 특성을 보존하므로 계층별 무작위화를 원리적으로 방어로 지원한다.