[논문 리뷰] GraN: An Efficient Gradient-Norm Based Detector for Adversarial and Misclassified Examples

Julia Lust, Alexandru Paul Condurache|arXiv (Cornell University)|2020. 04. 20.

Adversarial Robustness in Machine Learning참고 문헌 14인용 수 5

한 줄 요약

GraN은 매개변수 및 시간 측면에서 효율적인 기울기 노름 기반 검출기로, 부드럽게 처리된 입력에 대한 네트워크 가중치에 대한 기울기의 L1 노름을 계산하여 적대적 예측 및 잘못 분류된 예측을 식별한다. MNIST, CIFAR-10, SVHN에서 상태의 성능을 기록하며, LID의 0.01%의 매개변수와 0.5%의 런타임을 사용하여 AUC ROC 점수 90–100%를 달성하여 자율 주행과 같은 자원 제약이 있는 응용 분야에 이상적이다.

ABSTRACT

Deep neural networks (DNNs) are vulnerable to adversarial examples and other data perturbations. Especially in safety critical applications of DNNs, it is therefore crucial to detect misclassified samples. The current state-of-the-art detection methods require either significantly more runtime or more parameters than the original network itself. This paper therefore proposes GraN, a time- and parameter-efficient method that is easily adaptable to any DNN. GraN is based on the layer-wise norm of the DNN's gradient regarding the loss of the current input-output combination, which can be computed via backpropagation. GraN achieves state-of-the-art performance on numerous problem set-ups.

연구 동기 및 목표

• 자율 주행과 같은 안전이 중요한 응용 분야에서 적대적 및 잘못 분류된 예측을 위한 효율적이고 부담이 적은 검출기가 부족한 문제를 해결한다.
• 특히 실시간 및 자원 제약이 있는 환경에서 과도한 매개변수나 런타임을 요구하는 기존 검출기의 한계를 극복한다.
• 높은 검출 성능를 유지하면서도 매개변수 효율성과 빠른 처리 속도를 동시에 확보하는 방법을 개발한다.
• 계산 및 메모리 오버헤드를 최소화하여 실세계 DNN 시스템에 강건한 검출 기능을 실용적으로 구현할 수 있도록 한다.

제안 방법

• 학습 단계와 유사하게, 약간 부드러운 입력에 대해 역전파를 사용해 손실 함수의 네트워크 가중치에 대한 기울기를 계산한다.
• 각 레이어의 기울기에서 L1 노름을 계산하여 레이어별 기울기를 특징 벡터로 변환한다.
• 기울기 노름 특징에 대해 훈련된 경량 로지스틱 회귀 모델을 사용해 잘못 분류될 확률을 예측한다.
• 기울기 계산 이전에 입력에 대해 가우시안 스무딩(σ = 0.4)을 적용하여 강건성과 검출 성능을 향상시킨다.
• 잘못 분류된 예측은 일반적으로 정확하게 분류된 예측보다 더 큰 기울기 노름을 유도한다는 통찰을 활용한다.
• 특히 노이즈 유사한 편향에 효과적인 가우시안 저통과 필터링을 통해 편향 제거 단계를 통합한다.

실험 결과

연구 질문

• RQ1 기존 방법보다 훨씬 적은 매개변수와 런타임을 사용하면서도 기울기 노름 기반 검출기가 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ2 GraN의 성능는 다양한 적대적 공격과 데이터셋에서 LID 및 기타 최신 기술 검출기와 비교해 어떻게 되는가?
• RQ3 가우시안 스무딩이 기울기 노름 접근의 강건성과 정확도에 어느 정도 기여하는가?
• RQ4 GraN은 최소한의 계산 오버헤드로 적대적 예측과 비-적대적 잘못 분류 예측을 효과적으로 검출할 수 있는가?
• RQ5 LID와 비교해 복잡한 데이터셋인 CIFAR-10과 SVHN에서 GraN의 매개변수 및 런타임 효율성은 어떻게 스케일링되는가?

주요 결과

• 모든 테스트 데이터셋(MNIST, CIFAR-10, SVHN)과 공격 유형에서 GraN은 AUC ROC 점수 90%에서 100%를 기록하며, 단순한 구조로 인해 MNIST에서 약간의 성능 저하가 발생한다.
• CIFAR-10에서 GraN은 일곱 가지 공격 시나리오 중 다섯 곳에서 LID를 초월하며, CW 공격에서 99.90%의 AUC, JSMA에서 99.42%의 AUC를 기록한다.
• GraN의 로지스틱 회귀 헤드는 단 35개의 매개변수만을 사용하여 LID의 307,266개 매개변수 오버헤드의 0.01%에 불과하다.
• CIFAR-10에서 GraN의 런타임은 최적화 없이도 LID의 0.5%이며, LID의 활성화 캐싱을 사용할 경우 여전히 LID의 50% 이하로 유지된다.
• 가우시안 스무딩을 통한 편향 제거 단계는 특히 센서 노이즈 유사한 편향에 대해 잘못 분류된 입력을 효과적으로 수정하며, 다른 적대적 공격에 대해서도 잘 일반화된다.
• 데이터셋의 복잡성이 증가할수록 메서드의 성능이 향상되며, 복잡한 데이터셋에서의 고차원 특징 다양성은 잘못 분류된 예측에 대해 더 강력한 기울기 신호를 유도한다.