[논문 리뷰] Attribution-driven Causal Analysis for Detection of Adversarial Examples

Susmit Jha, Sunny Raj외 6명|arXiv (Cornell University)|2019. 03. 14.

Adversarial Robustness in Machine Learning참고 문헌 34인용 수 8

한 줄 요약

이 논문은 통합 기울기 방법을 통해 모델의 설명에서 높은 기여도를 가진 특징을 점진적으로 마스킹하여, 적대적 예측에 대한 훈련이 필요 없는 새로운 방식의 방어 기법을 제안한다. 핵심 발견은 특히 물리적으로 실현 가능한 적대적 예측은 이러한 마스킹에 매우 민감한 반면, 정상 예측은 안정성을 유지하므로, FGSM, PGD, CW 및 적대적 패치를 포함한 다양한 공격 유형에서 98% 이상의 정확도로 탐지가 가능하다.

ABSTRACT

Attribution methods have been developed to explain the decision of a machine learning model on a given input. We use the Integrated Gradient method for finding attributions to define the causal neighborhood of an input by incrementally masking high attribution features. We study the robustness of machine learning models on benign and adversarial inputs in this neighborhood. Our study indicates that benign inputs are robust to the masking of high attribution features but adversarial inputs generated by the state-of-the-art adversarial attack methods such as DeepFool, FGSM, CW and PGD, are not robust to such masking. Further, our study demonstrates that this concentration of high-attribution features responsible for the incorrect decision is more pronounced in physically realizable adversarial examples. This difference in attribution of benign and adversarial inputs can be used to detect adversarial examples. Such a defense approach is independent of training data and attack method, and we demonstrate its effectiveness on digital and physically realizable perturbations.

연구 동기 및 목표

• 깊이 학습 모델을 오도하는 시각적으로 인식되지 않는 적대적 예측을 탐지하는 데 있어 중요한 격차를 해결하기 위해.
• 모델 결정의 특징 중요도를 통해 설명되는 기여도 공간에서 적대적 예측이 얼마나 견고한지 조사하기 위해.
• 훈련 데이터나 공격 유형에 대한 사전 지식 없이, 오직 모델 설명에 의존하는 독립적인 방어 기법을 개발하기 위해.
• 원인 영역 내에서 높은 기여도를 가진 특징을 점진적으로 마스킹했을 때 적대적 예측의 견고성 평가하기 위해.
• 물리적으로 실현 가능한 적대적 변형은 국소화된 기여도 집중으로 인해 디지털 변형보다 더 잘 탐지될 수 있음을 보여주기 위해.

제안 방법

• 주어진 입력에 대해 통합 기울기 방법을 사용하여 특징 기여도를 계산하고, 각 입력 특징(예: 픽셀)의 중요도 점수를 할당한다.
• 상위 k%의 기여도가 높은 특징을 점진적으로 마스킹함으로써 원인 영역을 정의한다. 기여도가 가장 높은 특징부터 시작한다.
• 점진적 마스킹 하에서 모델 예측의 안정성 평가: 정상 입력은 원래 레이블을 유지하지만, 적대적 입력은 자주 레이블이 변경된다.
• 디지털 적대적 예측(예: FGSM, PGD, CW, DeepFool)과 물리적으로 실현 가능한 적대적 패치(예: 바나나, 토스터, 야구공 패치)에 모두 마스킹 프로세스를 적용한다.
• 모델의 예측이 변경되는 지점을 적대적 성격의 지표로 사용하며, 빨리 레이블이 바뀌는 경우는 높은 취약성을 나타낸다.
• 이중 인지 모델을 제안한다: 시스템 1(기존 DNN)과 시스템 2(기여도 기반 분석)로, 성공적인 공격를 위해서는 둘 다 속임을 당해야 한다.

실험 결과

연구 질문

• RQ1 기여도 공간에서 높은 기여도를 가진 특징을 점진적으로 마스킹했을 때, 적대적 예측은 얼마나 견고한가?
• RQ2 마스킹 조건 하에서, 적대적 예측의 기여도 분포는 정상 입력과 어떻게 다른가?
• RQ3 기여도 마스킹을 통해 정의된 원인 영역은 적대적 예측 탐지에 신뢰할 수 있는 메커니즘으로 기능하는가?
• RQ4 물리적으로 실현 가능한 적대적 패치에서 높은 기여도 특징이 국소화되어 있음으로써, 디지털 변형보다 더 잘 탐지되는가?
• RQ5 이 방어 기법은 공격 유형이나 훈련 데이터에 대한 사전 지식 없이 다양한 공격 유형에 대해 얼마나 효과적인가?

주요 결과

• 상위 기여도 픽셀의 0.4%만 마스킹해도 바나나 패치 기반 적대적 예측의 99.71%를 탐지했으며, 토스터 패치 기반으로는 98.14%, 야구공 패치 기반으로는 99.20%를 탐지했다.
• FGSM, PGD, CW, DeepFool 공격로 생성된 적대적 예측은 최소한의 마스킹(예: 상위 기여도의 0.2%에서 4%)에서도 레이블이 크게 이동하는 것으로 나타나, 기여도 공간에서 매우 민감한 것으로 확인되었다.
• 정상 입력은 상위 기여도 특징의 4%까지 마스킹되어도 원래 레이블을 모두 유지하며, 안정성을 유지했다.
• 작은 크기의 적대적 패치일수록 높은 기여도 특징의 집중도가 높아지므로 탐지율이 증가했으며, 이는 물리적 실현 가능성과 기여도 공간 내 견고성 사이의 상충 관계를 시사한다.
• 작은 패치 크기(이미지 영역의 25%)에서도 적대적 패치 공격의 98% 이상을 탐지하여, 실제 물리적 위협 모델에서의 효과성을 입증했다.
• 이 방어 기법은 다양한 공격 유형에 효과적이며, 훈련 데이터나 특정 공격 방법에 대한 사전 지식이 필요 없어 광범위하게 적용 가능하다.