[논문 리뷰] Does Interpretability of Neural Networks Imply Adversarial Robustness

Adam Noack, Isaac Ahern외 2명|arXiv (Cornell University)|2019. 12. 07.

Adversarial Robustness in Machine Learning참고 문헌 57인용 수 10

한 줄 요약

이 논문은 해석 가능한 기울기 기반으로 딥 네ural 네트워크를 훈련하는 것이 적대적 방어성에 기여하는지 조사한다. 기울기를 샐런시 맵과 일치시키고 크기를 줄이는 Interpretation Regularization (IR)를 도입함으로써, 더 해석 가능한 기울기를 가지는 모델이 ℓ₂ 및 ℓ∞ 적대적 공격에 대해 상당히 더 강건해지는 것으로 나타났다. 특히 SmoothGrad와 조합할 경우 더욱 두드러진다.

ABSTRACT

Deep neural networks (DNNs) have had many successes, but suffer from two major issues: (1) a vulnerability to adversarial examples and (2) a tendency to elude human interpretation. Interestingly, recent empirical and theoretical evidence suggest these two seemingly disparate issues are actually connected. In particular, robust models tend to provide more interpretable gradients than non-robust models. However, whether this relationship works in the opposite direction remains obscure. With this paper, we seek empirical answers to the following question: can models acquire adversarial robustness when they are trained to have interpretable gradients? We introduce a theoretically inspired technique called \emph{Interpretation Regularization} (IR), which encourages a model's gradients to (1) match the direction of interpretable target salience maps and (2) have small magnitude. To assess model performance and tease apart factors that contribute to adversarial robustness, we conduct extensive experiments on MNIST and CIFAR-10 with both $\ell_2$ and $\ell_\infty$ attacks. We demonstrate that networks trained to have interpretable gradients are more robust to adversarial perturbations. Applying the network interpretation technique SmoothGrad \cite{smoothgrad} yields additional performance gains, especially in cross-norm attacks and under heavy perturbation. The results indicate that the interpretability of the model gradients is a crucial factor for adversarial robustness.

연구 동기 및 목표

• 해석 가능한 기울기 기반 훈련이 딥 네ural 네트워크의 적대적 방어성 향상에 기여할 수 있는지 조사하기.
• 해석 가능성과 방어성 간의 인과관계가 상관관계 이상의 의미를 가지는지 여부를 밝혀내기.
• 해석 가능한 기울기를 명시적으로 촉진하는 새로운 훈련 기법을 개발하고 평가하기.
• 기울기 해석 가능성의 기여도를 다른 방어성 향상 요인들과 분리하여 분석하기.

제안 방법

• 기울기가 사전 정의된 샐런시 맵과 일치하도록 유도하는 훈련 목표인 Interpretation Regularization (IR)를 제안한다.
• 모델 기울기와 목표 샐런시 맵 간의 코사인 유사도를 최소화하는 손실 항목으로 IR를 수식화한다.
• 기울기의 크기를 억제하여 결정 경계를 더 매끄럽게 만드는 두 번째 정규화 항목을 도입한다.
• IR 유무에 관계없이 표준 및 적대적 훈련을 통해 MNIST 및 CIFAR-10에서 모델을 훈련한다.
• 기울기 설명의 정밀도를 향상시키고 방어성을 강화하기 위해 후처리 해석 기법인 SmoothGrad를 적용한다.
• ℓ₂ 및 ℓ∞ 공격, 특히 교차 노름 공격 및 고노이즈 설정에서의 방어성 평가를 수행한다.

실험 결과

연구 질문

• RQ1 딥 네럴 네트워크를 해석 가능한 기울기를 갖도록 훈련시키는 것이 적대적 방어성 향상에 기여할 수 있는가?
• RQ2 기울기가 샐런시 맵과 얼마나 잘 일치하는가가 방어성 향상에 기여하는가?
• RQ3 정규화를 통해 기울기 크기를 줄이는 것이 방어성 향상에 기여하는가?
• RQ4 IR와 SmoothGrad를 조합할 경우 다양한 유형의 공격에서 방어성에 어떤 영향을 미치는가?
• RQ5 방어성 향상의 원인이 해석 가능성에 기인한 것인지, 다른 요소들이 영향을 미치고 있는가?

주요 결과

• Interpretation Regularization (IR)를 적용해 훈련한 모델은 표준 및 적대적 훈련 기반 모델 대비 ℓ₂ 및 ℓ∞ 공격 모두에서 유의미하게 높은 강건성 정확도를 보였다.
• IR와 SmoothGrad의 조합은 특히 교차 노름 공격 및 고노이즈 설정에서 방어성 향상에 상당한 기여를 하였다.
• IR로 훈련된 강건한 모델은 샐런시 맵과의 일치도 측정 기준으로 볼 때 더 해석 가능한 기울기를 생성하였다.
• IR로 훈련된 모델에서는 기울기 크기가 일관되게 감소하였으며, 이는 더 매끄러운 결정 경계를 의미한다.
• 추론 실험 결과에 따르면, 방어성 향상은 기울기 해석 가능성과 직접적인 인과관계가 있음을 입증하였다.
• IR는 표준 적대적 훈련과 보완되는 새로운 효과적인 인덕티브 바이어스를 제공한다.