[논문 리뷰] Interpretations Cannot Be Trusted: Stealthy and Effective Adversarial Perturbations against Interpretable Deep Learning

Eldor Abdukhamidov, Mohammed Abuhamad외 3명|arXiv (Cornell University)|2022. 11. 29.

Adversarial Robustness in Machine Learning인용 수 4

한 줄 요약

이 논문은 이미지의 에지 정보를 활용하여 딥러닝 분류기와 그에 연계된 해석 모델을 동시에 속이는 스텔스성 있는 적대적 공격 AdvEdge 및 AdvEdge+를 제안한다. 이 공격들은 미미한 변형으로도 높은 성공률를 기록하며 기존 방법에 비해 전이성에서 크게 뛰어나며, 딥러닝 시스템에서 해석 가능성의 보안 기여도가 제한적임을 입증한다.

ABSTRACT

Deep learning methods have gained increased attention in various applications due to their outstanding performance. For exploring how this high performance relates to the proper use of data artifacts and the accurate problem formulation of a given task, interpretation models have become a crucial component in developing deep learning-based systems. Interpretation models enable the understanding of the inner workings of deep learning models and offer a sense of security in detecting the misuse of artifacts in the input data. Similar to prediction models, interpretation models are also susceptible to adversarial inputs. This work introduces two attacks, AdvEdge and AdvEdge$^{+}$, that deceive both the target deep learning model and the coupled interpretation model. We assess the effectiveness of proposed attacks against two deep learning model architectures coupled with four interpretation models that represent different categories of interpretation models. Our experiments include the attack implementation using various attack frameworks. We also explore the potential countermeasures against such attacks. Our analysis shows the effectiveness of our attacks in terms of deceiving the deep learning models and their interpreters, and highlights insights to improve and circumvent the attacks.

연구 동기 및 목표

• 딥러닝 모델의 해석 가능성으로 인해 보안이 약화될 수 있는지 조사하기 위해
• 딥러닝 분류기와 그 해석 모델을 동시에 속이는 적대적 공격을 개발하기 위해
• 다양한 아키텍처, 해석 모델, 공격 프레임워크 간의 효과성 및 전이성을 평가하기 위해
• 이러한 신규 유형의 공격에 대비한 대응 조치를 탐색하기 위해(감지 및 강건한 훈련 기법 포함)

제안 방법

• 공격은 해석 모델이 강조하는 영역에 적대적 노이즈를 임베딩하기 위해 에지 인식 퍼티루베이션을 사용하여 스텔스성과 효과성을 향상시킨다.
• AdvEdge 및 AdvEdge+는 ADV2 공격의 최적화된 변종으로, 에지 정보를 활용해 시각적 변화를 최소화하면서도 공격 성공률를 극대화한다.
• PGD, C&W 및 StAdv와 같은 다양한 공격 프레임워크와 통합되어 탄력적이고 강력한 적대적 예제 생성을 가능하게 한다.
• 해석 기반 감지는 다수의 해석기(예: Grad, CAM, RTS, MASK)에서 유도된 속성 맵을 다중 채널 입력으로 통합하여 적대적 샘플 감지 정확도를 향상시킨다.
• 강건한 훈련은 일반화된 최악의 경우 L1 해석 차이를 최소화하는 min-max 최적화를 통해 수행되어 모델의 저항력을 강화한다.
• 실험은 ResNet 및 DenseNet 모델을 사용하여 ImageNet과 CIFAR-10에서 수행되었으며, 네 가지 해석 모델(Grad, CAM, RTS, MASK)을 적용하였다.

실험 결과

연구 질문

• RQ1 딥러닝 분류기와 그 해석 모델을 동시에 속일 수 있는 적대적 예제를 제작할 수 있는가?
• RQ2 에지 인식 퍼티루베이션은 해석 가능한 딥러닝 시스템에서 적대적 공격의 스텔스성과 효과성에 어떻게 기여하는가?
• RQ3 AdvEdge 및 AdvEdge+가 생성한 적대적 예제는 다양한 해석 모델과 공격 프레임워크 간에 얼마나 높은 전이성을 가지는가?
• RQ4 해석 가능성은 딥러닝 시스템에서 얼마나 실질적인 보안 기여를 하는가?
• RQ5 이러한 이중 모델 적대적 공격에 효과적으로 대응할 수 있는 대응 조치는 무엇인가?

주요 결과

• AdvEdge 및 AdvEdge+는 이미지의 최소한의 변형으로도 ImageNet에서 90% 이상의 높은 공격 성공률를 기록하며 스텔스성을 유지한다.
• 기존 방법(예: ADV2)과 비교해 볼 때, 다양한 해석 모델 간 전이성에서 뚜렷한 우수성을 보였다.
• Grad, CAM 및 MASK 해석기를 조합한 다중 해석기 속성 맵 스택킹 기반 감지 방법은 정확도를 0.975까지 향상시켰다.
• CIFAR-10에서 Wide-ResNet을 사용한 해석 기반 강건한 훈련은 ε=0일 때 0.685의 테스트 정확도를 유지하였으며, 적대적 노이즈 하에서 속성 맵 유사도에 대한 Kendall’s Tau 상관계수는 0.782를 기록하였다.
• 일반 훈련된 모델은 ε=10/255일 때 해석 유사도가 -0.183로 감소한 반면, 적대적 훈련된 모델은 0.676의 높은 저항성을 유지하였다.
• 결과적으로, 해석 가능성은 적대적 예제가 인간 및 해석 기반 검사에도 불구하고 탐지되는 것을 방지할 수 없음을 확인하였으며, 이는 해석 가능성의 보안 기여도가 제한적임을 시사한다.