[논문 리뷰] Gradient Similarity: An Explainable Approach to Detect Adversarial Attacks against Deep Learning

Jasjeet Dhaliwal, Saurabh Shintre|arXiv (Cornell University)|2018. 06. 27.

Adversarial Robustness in Machine Learning참고 문헌 19인용 수 7

한 줄 요약

이 논문은 영향 함수를 활용하여 훈련 데이터 포인트가 모델 예측에 미치는 영향을 측정함으로써 적대적 입력을 탐지하는 계산적으로 효율적인 메트릭인 Gradient Similarity(GS)를 제안한다. GS는 미리 알려지지 않은 공격에 대해 거의 완벽한 ROC-AUC(95–100%) 성능을 달성하는 로지스틱 회귀 탐지기의 성능을 가능하게 하며, 적대자들이 모델에 대한 완전한 액세스 권한을 가진 화이트박스 공격에 대해서도 MNIST에서 87–97%의 AUC로 탐지한다.

ABSTRACT

Deep neural networks are susceptible to small-but-specific adversarial perturbations capable of deceiving the network. This vulnerability can lead to potentially harmful consequences in security-critical applications. To address this vulnerability, we propose a novel metric called \emph{Gradient Similarity} that allows us to capture the influence of training data on test inputs. We show that \emph{Gradient Similarity} behaves differently for normal and adversarial inputs, and enables us to detect a variety of adversarial attacks with a near perfect ROC-AUC of 95-100\%. Even white-box adversaries equipped with perfect knowledge of the system cannot bypass our detector easily. On the MNIST dataset, white-box attacks are either detected with a high ROC-AUC of 87-96\%, or require very high distortion to bypass our detector.

연구 동기 및 목표

• 작은, 타겟된 적대적 편향으로 인해 높은 신뢰도로 잘못 분류되는 딥 네URAL 네트워크의 심각한 취약성을 해결하기 위해.
• 모델 아키텍처와 파라미터를 완전히 알고 있는 공격자 포함, 제로지식 및 화이트박스 공격자에 모두 강건한 탐지 방법을 개발하기 위해.
• 영향 함수를 이론적 기초로 삼아 모델 예측과 훈련 데이터의 영향을 연결함으로써 설명 가능한 탐지기 개발을 위해.
• 영향 기반 탐지의 계산 비용을 줄이기 위해 성능을 유지하면서도 경량 프록시 메트릭인 Gradient Similarity를 도입하기 위해.
• 다양한 공격 유형에 대한 일반화 능력을 평가하기 위해 교차 검증을 통해 미리 알려지지 않은 공격 방법에 대한 성능을 검증하기 위해.

제안 방법

• 영향 함수의 저비용 근사치로 Gradient Similarity(GS)를 제안하며, 이는 테스트 입력의 손실 기울기와 각 훈련 포인트의 손실 기울기 사이의 코사인 유사도로 계산된다.
• 테스트 입력 각각에 대해 GS를 사용해 특징 벡터를 생성함으로써, 테스트 예측에 대한 훈련 포인트의 영향을 캡처하는 기울기 유사도를 표현한다.
• GS에서 유도된 특징을 기반으로 로지스틱 회귀 분류기를 훈련시어 정상 입력과 적대적 입력을 구분한다.
• 화이트박스 공격 탐지를 위해 임계값 기반 탐지기 사용하며, 이상적인 영향 패턴을 가진 입력을 경고 표시한다.
• MNIST 및 CIFAR2 데이터셋에 적용하여, FGSM, BIM, C&W 등의 다양한 공격 유형에 대해 제로지식 및 화이트박스 위협 모델 하에서 평가한다.
• 교차 검증을 통해 새로운 공격 방법에 대한 일반화 능력을 테스트하며, 알려진 공격 패tern을 초월한 강건성을 검증한다.

실험 결과

연구 질문

• RQ1 정상 입력과 적대적 입력에 대해 훈련 포인트가 예측에 미치는 영향의 차이를 식별함으로써, 영향 함수를 사용해 적대적 입력을 탐지할 수 있는가?
• RQ2 계산 비용이 많이 들는 영향 함수 계산을 대체할 수 있는 계산적으로 효율적인 프록시 메트릭인 Gradient Similarity가 탐지 정확도를 유지하면서 효과적으로 기능하는가?
• RQ3 모델과 공격 목표에 대한 완전한 지식을 가진 화이트박스 공격자에 대해 GS 기반 탐지기가 얼마나 강건한가?
• RQ4 교차 검증을 통해 새로운 공격 방법에 대한 일반화 능력이 확인되었는가?
• RQ5 MNIST에서는 뛰어난 성능를 보였지만 CIFAR2에서는 성능이 떨어지는 이유는 무엇이며, 그 배경에 있는 데이터나 구조적 요인은 무엇인가?

주요 결과

• GS 기반 탐지기는 다양한 새로운 공격에 대해 ROC-AUC가 95–100%를 기록하여 뛰어난 일반화 능력을 입증한다.
• MNIST 데이터셋에서 화이트박스 공격은 ROC-AUC가 87–97%로 탐지되며, 공격자가 모델에 대한 완전한 액세스 권한을 가진 상황에서도 높은 강건성을 보인다.
• 탐지기를 우회하는 데 성공한 화이트박스 공격은 상당히 높은 L2 변형을 요구하며, 이는 탐지기가 공격자에게 더 눈에 띄는 변화를 유도함을 시사한다.
• CIFAR2에서의 탐지기 성능은 제한되어 있으며, AUC는 50–59% 수준이며, 주로 훈련 포인트 수가 적고 입력 공간의 지지도 넓기 때문인 것으로 분석된다.
• 교차 검증 실험 결과, 탐지기가 새로운 공격 방법에 대해 잘 일반화됨을 확인하였으며, 특정 공격 패턴을 초월한 적대적 입력의 본질적인 특성을 반영하고 있음을 시사한다.
• 기존 딥 네URAL 네트워크에 대한 수정이 최소한이므로, 강화 최적화나 적대적 훈련 대비 실세계 적용에 실용적이다.