[논문 리뷰] Training Robust Deep Neural Networks via Adversarial Noise Propagation

Aishan Liu, Xianglong Liu외 4명|arXiv (Cornell University)|2019. 09. 19.

Adversarial Robustness in Machine Learning참고 문헌 57인용 수 14

한 줄 요약

이 논문은 훈련 중에 은닉층에 적대적 노이즈를 주입함으로써 적대적 예제와 데이터 손상에 대한 강건성을 향상시키는 Adversarial Noise Propagation (ANP)을 제안한다. 후방-전방 훈련 적응을 통한 계층별 노이즈 주입 방식으로, 추가 계산 부담 없이 모델의 강건성을 향상시켜, CIFAR-10, ImageNet 및 손상된 벤치마크에서 기존 방어 방법들을 크게 능가하며, 은닉 표현의 민감도 저하를 개선한다.

ABSTRACT

In practice, deep neural networks have been found to be vulnerable to various types of noise, such as adversarial examples and corruption. Various adversarial defense methods have accordingly been developed to improve adversarial robustness for deep models. However, simply training on data mixed with adversarial examples, most of these models still fail to defend against the generalized types of noise. Motivated by the fact that hidden layers play a highly important role in maintaining a robust model, this paper proposes a simple yet powerful training algorithm, named \emph{Adversarial Noise Propagation} (ANP), which injects noise into the hidden layers in a layer-wise manner. ANP can be implemented efficiently by exploiting the nature of the backward-forward training style. Through thorough investigations, we determine that different hidden layers make different contributions to model robustness and clean accuracy, while shallow layers are comparatively more critical than deep layers. Moreover, our framework can be easily combined with other adversarial training methods to further improve model robustness by exploiting the potential of hidden layers. Extensive experiments on MNIST, CIFAR-10, CIFAR-10-C, CIFAR-10-P, and ImageNet demonstrate that ANP enables the strong robustness for deep models against both adversarial and corrupted ones, and also significantly outperforms various adversarial defense methods.

연구 동기 및 목표

• 일반화된 노이즈, 즉 적대적 예제와 블러, 눈과 같은 실제 세계의 손상에 취약한 딥 네URAL 네트워크의 문제를 해결하기 위해.
• 기존 적대적 방어 방법에서 활용도가 낮은 은닉층 표현을 활용하여 모델의 강건성을 향상시키기 위해.
• 추가 계산 비용 없이 강건성을 향상시키는 훈련 전략을 개발하여 기존 적대적 훈련 프레임워크와 효율적으로 통합할 수 있도록 하기 위해.
• 얕은 층과 깊은 층에 대한 노이즈 주입의 강건성 및 정확도에 미치는 차별적 영향을 조사하기 위해.

제안 방법

• ANP는 수정된 후방-전방 훈련 프로세스를 사용해 백프로파게이션 중에 은닉층에 적대적 노이즈를 주입함으로써 추가 계산 오버헤드 없이 구현된다.
• 노이즈는 제어된 방식으로 계층별로 적용되며, 중간 특징 맵에 PGD 공격를 통해 생성된 변형을 통해 강건성 훈련을 시뮬레이션한다.
• 이 방법은 표준 적대적 훈련과 수직이며, TRADES나 PAT와 같은 기존 기법과 조합하여 강건성을 더욱 향상시킬 수 있다.
• 은닉 표현의 민감도는 정상 입력과 노이즈가 가해진 입력 간의 활성화 변화를 추적함으로써 측정되며, 낮은 민감도는 높은 강건성을 의미한다.
• 기울기 시각화를 통해 인간의 인지와의 일치성을 평가하였으며, ANP로 훈련된 모델은 더 의미 있는 기울기를 생성함을 확인하였다.
• 표준 백프로파게이션을 재사용하면서도 은닉층의 기울기 업데이트 경로만 수정함으로써 효율적이고 확장 가능한 훈련을 가능하게 한다.

실험 결과

연구 질문

• RQ1 은닉층에 적대적 노이즈를 주입함으로써 적대적 공격과 실제 세계의 손상에 대한 모델의 강건성에 어떤 영향을 미치는가?
• RQ2 노이즈 주입 시 얕은 층과 깊은 층이 모델의 강건성 및 정확도에 기여하는 비율은 어떻게 다른가?
• RQ3 ANP는 기존의 적대적 훈련 방법과 효율적으로 조합되어 강건성을 추가로 향상시킬 수 있는가?
• RQ4 ANP는 입력 노이즈에 대한 은닉 표현의 민감도에 어떤 영향을 미치는가?
• RQ5 왜 얕은 층에 노이즈를 주입하면 강건성이 향상되지만, 깊은 층에 주입하면 정확도가 떨어지는가?

주요 결과

• ANP는 CIFAR-10에서 PGD 공격(ε=8) 하에 49.8%의 강건 정확도를 기록하며, TRADES와 PAT를 능가한다.
• ImageNet에서는 82.1%의 높은 정상 정확도를 유지하면서 FGSM 공격 하에 48.5%의 강건 정확도를 달성하여 대규모 데이터셋에서도 효과를 입증하였다.
• ANP로 훈련된 모델은 더 높은 은닉 표현 민감도 저하를 보이며, 모든 계층의 뉴런이 ε-노이즈(예: PGD 및 손상)에 대해 더 적은 반응을 보였다.
• 기울기 시각화 결과, ANP로 훈련된 모델(특히 상위 4개 계층)은 인간의 시각적 인지와 관련된 특징(예: 윤곽선)과 일치하는 더 의미 있는 기울기를 생성함을 확인하였다.
• 얕은 층(예: conv2_relu)이 깊은 층보다 더 강건성에 기여하며, 깊은 층보다 얕은 층을 노이즈로 변형하는 것이 더 높은 강건성 향상을 이룬다.
• 이론적 및 실증적 분석을 통해 얕은 층을 노이즈로 변형할 경우 정확도에 더 큰 부정적 영향을 미치며, 이는 강건성과 정확도 사이의 트레이드오���이 얕은 층에서 더 유리하게 작용함을 시사한다.