[논문 리뷰] Detecting Adversarial Examples and Other Misclassifications in Neural Networks by Introspection

Jonathan Aigrain, Marcin Detyniecki|arXiv (Cornell University)|2019. 05. 22.

Adversarial Robustness in Machine Learning인용 수 14

한 줄 요약

이 논문은 사전 훈련된 분류기의 로그릿(logit)을 사용하여 적대적 예제, 분포 외 입력 및 일반적인 오분류를 탐지하는 3층 신경망인 Introspection-Net을 제안한다. 적대적 데이터 증강을 통해 로그릿 활성화값을 훈련시킴으로써, 특히 분포 외 및 적대적 예제에서 뛰어난 탐지 성능을 달성하며, Softmax Thresholding 및 Trust Score와 같은 기준 방법들을 능가한다.

ABSTRACT

Despite having excellent performances for a wide variety of tasks, modern neural networks are unable to provide a reliable confidence value allowing to detect misclassifications. This limitation is at the heart of what is known as an adversarial example, where the network provides a wrong prediction associated with a strong confidence to a slightly modified image. Moreover, this overconfidence issue has also been observed for regular errors and out-of-distribution data. We tackle this problem by what we call introspection, i.e. using the information provided by the logits of an already pretrained neural network. We show that by training a simple 3-layers neural network on top of the logit activations, we are able to detect misclassifications at a competitive level.

연구 동기 및 목표

• 신경망이 잘못된 예측에서 과도하게 자신감을 갖는 문제를 해결한다. 이는 적대적 예제, 분포 외 입력 및 일반적인 오류를 포함한다.
• 사전 훈련된 분류기의 소프트맥스 이전의 원시 로그릿이 신뢰도 추정을 위한 구분 정보를 담고 있는지 조사한다.
• 기본 분류기를 재훈련하지 않고도 내부 네트워크 표현(내면 분석, introspection)을 활용하여 신뢰성 향상을 위한 모델에 종속되지 않는 탐지 방법을 개발한다.
• 소프트맥스 출력이 잘못된 자신감을 보일 수 있음에도 불구하고, 로그릿이 탐지에 유용한 정보를 유지하고 있음을 입증한다.

제안 방법

• 사전 훈련된 분류기의 로그릿을 기반으로 3층 완전 연결 신경망(Introspection-Net)을 훈련하여 정확도 점수(정확한 분류에 대해 1, 잘못된 분류에 대해 0)를 예측한다.
• FGSM, BIM, DeepFool 공격를 사용한 적대적 훈련을 통해 훈련 중 오분류된 예제를 노출시킨다.
• 일반화 및 신뢰도 향상을 위해 데이터 증강(회전, 이동, 줌)을 적용한다.
• 내분포, 적대적, 분포 외, 오류 예제를 포함한 균형 잡힌 데이터셋에서 평균 제곱오차 손실을 사용해 Introspection-Net을 훈련한다.
• AUROC, AUPR(in 및 out), 95% TPR에서의 FPR과 같은 표준 지표를 사용해 모델을 평가한다.
• 일반화 성능 테스트를 위해 MNIST에선 사전 훈련된 CNN, CIFAR-10에선 넓은 ResNet을 각각 사용하여 다양한 아키텍처와 데이터셋에서의 성능을 검증한다.

실험 결과

연구 질문

• RQ1 사전 훈련된 신경망의 원시 로그릿이 오분류 탐지에 신뢰할 수 있는 신뢰도 신호를 제공할 수 있는가?
• RQ2 내면 분석(내부 활성화 분석)을 사용할 경우, 소프트맥스 확률에 의존하는 것보다 적대적 예제 탐지 성능이 향상되는가?
• RQ3 로그릿 기반으로 훈련된 단순하고 경량의 모델이 다양한 데이터셋과 신경망 아키텍처에 일반화될 수 있는가?
• RQ4 로그릿 기반 탐지 성능이 Softmax Baseline 및 Trust Score와 같은 기존 방법들과 비교해 여러 종류의 오분류에서 어떻게 다른가?
• RQ5 추가적인 모델 재훈련 없이도 로그릿의 크기와 분포만으로도 분포 외 및 적대적 예제를 효과적으로 탐지할 수 있는가?

주요 결과

• Introspection-Net은 분포 외 데이터 탐지에서 Softmax Baseline 및 Trust Score를 크게 능가하며, 가우시안 노이즈에서 0.0% FPR을 기록하고 모든 OOD 데이터셋에서 거의 완벽한 AUROC를 달성한다.
• 적대적 예제 탐지에서, CIFAR-10 실험에서 BIM 공격에 대해 97.6 AUROC를 기록했으며, Softmax Baseline의 14.4 및 Trust Score의 56.1에 비해 뛰어난 성능을 보였다.
• 분포 외 탐지에서 가장 뛰어난 성능을 보였으며, 테스트된 모든 OOD 데이터(Gaussian, Uniform, CIFAR-10, Fashion-MNIST)에서 거의 완벽한 점수를 기록했고, 적대적 예제 탐지에서도 기준 방법들을 능가했다.
• 오류 탐지는 가장 도전적인 과제였으며, 모든 방법이 유사한 성능를 보였고, 이는 로그릿만으로 자연 오류와 정확한 예측을 구분하는 데는 충분하지 않을 수 있음을 시사한다.
• Softmax Baseline는 DeepFool 적대적 예제에서 가장 뛰어난 성능를 보였는데, 이는 최대 소프트맥스 확률이 낮은(54.0%) 점유율 덕분에 임계값 기반 탐지에 더 잘 맞기 때문이다. 이는 소프트맥스에만 의존하는 것의 한계를 드러낸다.
• 적대적 훈련이 필요했음에도 불구하고, Introspection-Net은 아키텍처 간 일반화에 매우 잘 작동했으며(CNN은 MNIST, Wide ResNet은 CIFAR-10), 이는 접근법의 강건성과 전이 가능성(transferability)을 입증한다.