[논문 리뷰] Feature Squeezing Mitigates and Detects Carlini/Wagner Adversarial Examples

Weilin Xu, David Evans외 1명|arXiv (Cornell University)|2017. 05. 30.

Adversarial Robustness in Machine Learning참고 문헌 6인용 수 41

한 줄 요약

이 논문은 MNIST 및 CIFAR-10에서 최신 Carlini/Wagner 적대적 공격에 대해 단순한 특징 압축, 특히 2×2 중앙값 스무딩을 통해 딥러닝 모델의 강건성을 크게 향상시킨다는 것을 보여준다. 이는 타겟 공격 성공률을 거의 100%에서 6% 이하로 낮추며, 원본 및 압축된 예측 간의 L1 기반 점수 차이를 사용해 적대적 예측을 98.80%의 정확도로 MNIST에서, 87.50%의 정확도로 CIFAR-10에서 탐지할 수 있게 한다.

ABSTRACT

Feature squeezing is a recently-introduced framework for mitigating and detecting adversarial examples. In previous work, we showed that it is effective against several earlier methods for generating adversarial examples. In this short note, we report on recent results showing that simple feature squeezing techniques also make deep learning models significantly more robust against the Carlini/Wagner attacks, which are the best known adversarial methods discovered to date.

연구 동기 및 목표

• 단순한 특징 압축이 최신 적대적 공격, 특히 Carlini/Wagner의 L2, L∞ 및 L0 방법에 대해 효과적으로 완화하고 탐지할 수 있는지 평가하는 것.
• 특징 압축을 통해 강화된 딥러닝 모델의 타겟 및 비타겟 적대적 예측에 대한 강건성을 평가하는 것.
• 모델 재학습이 필요 없이 경량이며 상호보완적인 방어 수단으로서 특징 압축의 실현 가능성을 조사하는 것.
• 원본 및 압축된 입력 간 예측 차이를 기반으로 한 탐지 프레임워크를 개발하고 평가하는 것.

제안 방법

• 입력 이미지에 분류 전에 사전 처리 단계로 2×2 중앙값 스무딩을 적용하며, 반사 패딩과 일관된 중앙값 선택을 사용한 SciPy의 구현을 활용한다.
• 원본 입력과 압축된 입력에 대한 모델 예측 간의 L1 노름을 탐지 점수로 계산한다: 점수 = |f(x) − f(squeeze(x))|₁.
• L1 점수에 임계값을 적용하여 입력을 적대적(높은 점수) 또는 정상(낮은 점수)으로 분류하며, 이 임계값은 훈련 세트에서 탐지 정확도를 최대화하도록 선택된다.
• Carlini/Wagner의 L2, L∞ 및 L0 공격를 통해 생성된 적대적 예측에 대한 정확도를 측정하여 강건성을 평가하며, 특징 압축 유무에 따라 비교한다.
• 계산 비용이 높기 때문에, Carlini의 코드를 사용해 기본 설정으로 MNIST 및 CIFAR-10에 대해 별도의 모델을 훈련시키고 첫 1,000개의 테스트 이미지에 대해 적대적 예측을 생성한다.
• 성능 트레이닝 및 검증 세트로 데이터셋을 분할하여 탐지 임계값을 튜닝하고, 검증되지 않은 데이터에 대한 성능을 평가한다.

실험 결과

연구 질문

• RQ1 특징 압축은 딥러닝 모델에 대한 타겟 Carlini/Wagner 공격의 성공률를 효과적으로 감소시킬 수 있는가?
• RQ2 특징 압축은 MNIST 및 CIFAR-10에서 정상 입력의 정확도에 어떤 영향을 미치는가?
• RQ3 원본 및 압축된 입력 간 모델 예측의 L1 차이가 적대적 예측을 신뢰성 있게 탐지할 수 있는가?
• RQ4 MNIST와 같은 높은 모델 정확도 수준과 비교해 CIFAR-10과 같은 낮은 정확도 수준의 데이터셋에서 탐지 성능이 다를 수 있는가?
• RQ5 최소한의 변형을 가진 L2, L∞ 및 L0 공격에 비해 특징 압축이 효과적인가?

주요 결과

• 2×2 중앙값 스무딩을 통한 특징 압축은 MNIST 및 CIFAR-10 양쪽에서 Carlini/Wagner 공격의 세 가지 변형(L2, L∞, L0)에 대해 타겟 공격 성공률를 거의 100%에서 6% 이하로 감소시켰다.
• MNIST에서는 특징 압축을 적용한 결과, 비타겟 공격의 정확도가 0%에서 90.4%로, 타겟 공격의 정확도가 0%에서 87.9%로 향상되었다.
• CIFAR-10에서는 특징 압축을 적용한 결과, 비타겟 공격의 정확도가 0%에서 68.2%로, 타겟 공격의 정확도가 0%에서 66.1%로 향상되었다.
• 탐지 프레임워크는 MNIST에서 98.80%의 정확도를 달성했으며, 진성 양성률 99.33% 및 가짜 양성률 1.73%를 기록했고, 임계값 0.1147를 사용했다.
• CIFAR-10에서는 탐지 정확도가 87.50%였으며, ROC-AUC가 0.8711로 낮았는데, 이는 정상 입력에 대한 기준 모델 정확도가 78.3%로 낮기 때문일 수 있다.
• 정상 입력에 대한 정확도는 높은 수준를 유지했다—MNIST에서 99.4%, CIFAR-10에서 93.2%로, 성능 저하가 최소한이었다.