[논문 리뷰] Improving the Adversarial Robustness and Interpretability of Deep Neural Networks by Regularizing their Input Gradients

Andrew Slavin Ross, Finale Doshi‐Velez|arXiv (Cornell University)|2017. 11. 26.

Adversarial Robustness in Machine Learning인용 수 280

한 줄 요약

이 논문은 학습 중 입력 그래디언트 정규화를 도입하여 DNN을 적대적 교란에 더 강건하고 해석 가능한 모델로 만든다; 그래디언트-정규화 모델은 전이 공격에 강하고 인간이 인지하는 설명이 더 정당해 보인다.

ABSTRACT

Deep neural networks have proven remarkably effective at solving many classification problems, but have been criticized recently for two major weaknesses: the reasons behind their predictions are uninterpretable, and the predictions themselves can often be fooled by small adversarial perturbations. These problems pose major obstacles for the adoption of neural networks in domains that require security or transparency. In this work, we evaluate the effectiveness of defenses that differentiably penalize the degree to which small changes in inputs can alter model predictions. Across multiple attacks, architectures, defenses, and datasets, we find that neural networks trained with this input gradient regularization exhibit robustness to transferred adversarial examples generated to fool all of the other models. We also find that adversarial examples generated to fool gradient-regularized models fool all other models equally well, and actually lead to more "legitimate," interpretable misclassifications as rated by people (which we confirm in a human subject experiment). Finally, we demonstrate that regularizing input gradients makes them more naturally interpretable as rationales for model predictions. We conclude by discussing this relationship between interpretability and robustness in deep neural networks.

연구 동기 및 목표

• 두 가지 문제를 다룬다는 목표: DNN의 해석 가능성 부족과 작은 적대적 교란에 취약한 점.
• 학습 중 더 부드러운 입력 그래디언트를 강제하는 미분 가능 정규화를 제안.
• 여러 공격과 데이터셋에 대해 그래디언트-정규화 모델의 강건성 및 해석 가능성을 평가.

제안 방법

• 손실의 입력-그래디언트의 제곱 norms를 벌점화하여 그래디언트 정규화를 형식화: minimize H(y, ŷ) + λ ||∇ₓ H(y, ŷ)||₂².
• 그래디언트 정규화를 Defensive Distillation 및 FGSM, TGSM, JSMA 공격을 사용한 적대적 학습과 비교.
• Adam 및 특정 하이퍼파라미터로 MNIST, SVHN, and notMNIST에서 CNN을 학습; λ 값과 학습 시간의 영향 탐구.
• 강건성 및 해석 가능성을 이해하기 위해 입력 그래디언트 분포와 모델 신뢰도의 분포를 분석.
• 다른 방어에 대해 생성된 적대적 오분류의 가능성을 평가하기 위한 인간 대상 연구를 수행.

실험 결과

연구 질문

• RQ1 입력 그래디언트 정규화가 다른 모델에서 전이되는 것을 포함한 적대적 예제에 대한 강건성을 향상시키는가?
• RQ2 적대적 교란의 해석 가능성과 모델의 설명에 그래디언트 정규화가 어떤 영향을 미치는가?
• RQ3 그래디언트-정규화 모델을 적대적 학습과 효과적으로 결합하여 강건성을 높일 수 있는가?
• RQ4 화이트박스 및 블랙박스 공격에서 그래디언트-정규화 모델이 증류 및 적대적 학습과 어떻게 비교되는가?

주요 결과

• 그래디언트-정규화 모델은 MNIST, SVHN, 및 notMNIST 전역에서 전이된 FGSM 공격에 대해 강건성을 강하게 보이며, 일반적으로 더 높은 섭동 수준에서 다른 방어보다 우수한 성능을 보임.
• 그래디언트-정규화 모델에 대해 설계된 공격은 다른 모델을 동일하게 속이는 경향이 있어, 표준 방어와는 다른 강건성/전이 다이나믹스를 시사함.
• 방어적 증류는 역전파 흐름의 소실로 인해 종종 성능이 떨어지거나 다른 모델을 속이지 못하는 반면, 그래디언트 정규화는 견고한 동작을 유지함.
• 그래디언트 정규화와 적대적 학습의 결합은 SVHN에서 최대의 강건성을 제공하며 FGSM 하에서 소량의 라벨 누출 효과가 나타날 수 있음.
• 인간 대상 실험은 그래디언트-정규화 모델의 적대적 예제가 더 그럴듯한 대상이 됨을 시사하여 적대적 교란의 해석 가능성이 향상되었음을 시사함.
• 시각화는 그래디언트 정규화가 일반 모델이나 증류 모델에 비해 더 매끄럽고 인간이 해석하기 쉬운 입력 그래디언트를 제공함을 보여줌.