[논문 리뷰] Natural and Adversarial Error Detection using Invariance to Image Transformations

Yuval Bahat, Michal Irani외 1명|arXiv (Cornell University)|2019. 02. 01.

Adversarial Robustness in Machine Learning참고 문헌 20인용 수 14

한 줄 요약

이 논문은 단순한 이미지 변환(예: 수평 뒤집기, 대trast 조정)에 대한 분류기의 불변성 특성을 활용하여 자연적 오류와 적대적 오류를 모두 탐지할 수 있는 통합형, 즉각적 적용 가능한 프레임워크를 제안한다. 출력 불안정성은 변환된 예측과 원본 예측 간의 KL 발산을 측정하여 평가되며, 이는 최신 기술 수준(SOTA)의 성능을 달성한다. 특히, MLP를 통한 개선 버전은 알려진 탐지기 공격(known-detector attacks) 조건에서도 이전 방법들을 뛰어넘는다.

ABSTRACT

We propose an approach to distinguish between correct and incorrect image classifications. Our approach can detect misclassifications which either occur $\it{unintentionally}$ ("natural errors"), or due to $\it{intentional~adversarial~attacks}$ ("adversarial errors"), both in a single $\it{unified~framework}$. Our approach is based on the observation that correctly classified images tend to exhibit robust and consistent classifications under certain image transformations (e.g., horizontal flip, small image translation, etc.). In contrast, incorrectly classified images (whether due to adversarial errors or natural errors) tend to exhibit large variations in classification results under such transformations. Our approach does not require any modifications or retraining of the classifier, hence can be applied to any pre-trained classifier. We further use state of the art targeted adversarial attacks to demonstrate that even when the adversary has full knowledge of our method, the adversarial distortion needed for bypassing our detector is $\it{no~longer~imperceptible~to~the~human~eye}$. Our approach obtains state-of-the-art results compared to previous adversarial detection methods, surpassing them by a large margin.

연구 동기 및 목표

• 의료 및 자율주행 시스템과 같은 안전이 중요한 애플리케이션에서 딥러닝 모델의 잘못된 분류를 탐지하는 데 있어 핵심적인 과제를 해결하기 위해.
• 자연적 오류(의도하지 않은 잘못된 분류)와 적대적 오류(의도적으로 조작된 오류)를 하나의 프레임워크로 통합하여 탐지하기 위해.
• 특히 탐지기의 정보를 완전히 알고 있는 공격자(known-detector 공격)에 대해서도 강건한 탐지 방법을 개발하기 위해.
• 사전 학습된 분류기의 재학습이나 아키텍처 수정 없이도 적용 가능한 탐지기 구축을 위해.

제안 방법

• 이 방법은 입력 이미지에 단순한 이미지 변환(예: 수평 뒤집기, 소규모 이동, 감마 보정 등)을 적용하여 분류기의 출력 안정성을 평가한다.
• 각 변환된 이미지에 대해 모델의 소프트맥스 출력을 원본과 비교하여 출력 불안정성을 측정하기 위해 Kullback-Leibler (KL) 발산을 사용한다.
• 높은 KL 발산 점수는 출력의 불안정성을 나타내며, 이는 자연적 또는 적대적 원인으로 인한 잘못된 분류일 가능성이 높음을 시사한다.
• 기본 KL 점수를 향상시키기 위해 변환 기반 특징을 기반으로 다층퍼셉트론(MLP)을 추가로 학습시킨다.
• 탐지기는 사전 학습된 분류기의 재학습이나 아키텍처 변경 없이도 후행적으로 적용 가능하다.
• 이 접근법은 알려지지 않은 탐지기(UD) 및 알려진 탐지기(KD) 공격 시나리오 모두에서 평가되었으며, 특히 Carlini & Wagner (C&W) 공격와 같은 강력한 공격에 대해 검증되었다.

실험 결과

연구 질문

• RQ1 단순한 이미지 변환에 대한 분류기 출력 불변성이 오류 유형에 관계없이 정확한 분류와 잘못된 분류를 신뢰성 있게 구분할 수 있는가?
• RQ2 공격자가 탐지기의 정보를 완전히 알고 있는 상황(known-detector 시나리오)에서도 변환 불변성을 기반으로 한 탐지 방법이 여전히 효과적인가?
• RQ3 기본 KL 발산 점수를 MLP로 개선함으로써 자연적 오류 및 적대적 오류 탐지 성능이 향상되는가?
• RQ4 다양한 데이터셋과 공격 유형에서 최신 기술 수준(SOTA) 탐지 기법들과 비교해 볼 때, 제안된 방법은 강건성과 AUROC 측면에서 어떤가?

주요 결과

• MLP 기반 탐지기로 ImageNet (Top-1)에서 0.875, Top-5에서 0.884의 AUROC를 기록하여 MSR 기준(각각 0.842 및 0.806)을 초월했다.
• CIFAR-100에서 AT(적대적 훈련) 설정 하에 MLP 기반 탐지기는 0.869 AUROC를 달성하여 SOTA 기준 DBC 방법(0.858)과 다른 기준들을 능가했다.
• 가장 도전적인 알려진 탐지기(KD) 공격 시나리오, 즉 C&W 공격 조건에서도 이 방법은 공격자가 눈에 띄는 왜곡을 사용하도록 강제하여 적대적 예제의 은밀함을 해친다.
• 기본 KL 발산 점수만으로도 STL-10과 CIFAR-100에서 MSR 및 드롭아웃 기준을 능가하여, 변환 불변성이 탐지의 대체 지표로 효과적임을 입증한다.
• 이 방법은 ImageNet, CIFAR-100, STL-10 등 다양한 데이터셋과 분류기 유형(적대적 손실로 미세조정된 경우 포함)에서도 강력한 성능을 유지한다.
• 탐지기는 보편적으로 적용 가능하다: 사전 학습된 분류기의 재학습이나 수정 없이도 즉각적 적용이 가능하여 플러그 앤 플레이 배포가 가능하다.