[논문 리뷰] Early Methods for Detecting Adversarial Images

Dan Hendrycks, Kevin Gimpel|arXiv (Cornell University)|2016. 08. 01.

Adversarial Robustness in Machine Learning참고 문헌 15인용 수 121

한 줄 요약

논문은 적대적 이미지에 대해 PCA 기반 계수 분산, 소프트맥스 분포 분석, 재구성 기반 탐지 등 세 가지 탐지기를 제안하며, 여러 데이터세트에서 강력한 AUROC/AUPR 성능을 보임.

ABSTRACT

Many machine learning classifiers are vulnerable to adversarial perturbations. An adversarial perturbation modifies an input to change a classifier's prediction without causing the input to seem substantially different to human perception. We deploy three methods to detect adversarial images. Adversaries trying to bypass our detectors must make the adversarial image less pathological or they will fail trying. Our best detection method reveals that adversarial images place abnormal emphasis on the lower-ranked principal components from PCA. Other detectors and a colorful saliency map are in an appendix.

연구 동기 및 목표

• classifier를 오도하면서도 인간에게는 거의 감지되지 않는 적대적 섭동의 위험성을 제시한다.
• 적대적 이미지를 식별하고 그 병리를 이해하기 위한 탐지기를 개발한다.
• 네트워크 의사결정의 해석가능성을 높이기 위한 saliency-map 기법을 제공한다.
• 적대적 공격에 대한 앙상블 방어 및 전처리 아이디어의 효과를 입증한다.

제안 방법

• PCA 화이트닝(detector)은 저차원 PCA 계수의 분산을 탐지 특징으로 사용한다.
• 오판정 및 분포 이상 샘플에 대한 기존 연구를 적대적 이미지로 확장한 소프트맥스 분포 기반 탐지기.
• 분류 로짓에 조건화된 디코더에 의해 생성된 재구성과 입력 이미지를 비교하는 재구성 기반 탐지기.
• 해석가능한 saliency 맵을 개선하기 위한 대체 역전파 규칙을 사용하는 부록 기반 샐리언시 맵.

실험 결과

연구 질문

• RQ1 화이트닝 후 PCA 계수의 통계적 특성으로 깨끗한 이미지와 적대적 이미지를 구별할 수 있는가?
• RQ2 적대적 이미지는 깨끗한 이미지나 이상치 데이터와 비교해 뚜렷한 소프트맥스 분포를 보이는가?
• RQ3 로짓 정보를 포함한 재구성 오차가 적대적 이미지를 깨끗한 이미지와 구별하는가?
• RQ4 개선된 샐리언시 맵이 적대적 섭동 상황에서 네트워크 의사결정에 대한 더 명확한 설명을 제공하는가?

주요 결과

• PCA를 화이트닝한 적대적 이미지는 저차원 주성분에서 비정상적인 분산을 보이며, 데이터세트 전반에 걸쳐 신뢰할 수 있는 탐지를 가능하게 한다.
• 적대적 예시는 깨끗한 예시와 구별되는 뚜렷한 소프트맥스 분포를 보이며 탐지에 도움을 주고, 일반적인 KL 발산 제약을 통해 생성을 제한하면 속임수 능력이 감소한다.
• 로짓을 포함한 재구성은 적대적 이미지에 대해 입력-재구성 차이가 더 크게 나타나며, AUROC 96.2%와 AUPR 96.6%를 달성한다.
• 탐지기의 앙상블이 단일 탐지기보다 적응형 공격에 더 강건하다고 주장된다.
• 수정된 역전파를 이용한 샐리언시 맵은 분류 결정의 해석가능성을 향상시킨다.