[논문 리뷰] Controlling Over-generalization and its Effect on Adversarial Examples Generation and Detection

Mahdieh Abbasi, Arezoo Rajabi외 3명|arXiv (Cornell University)|2018. 08. 21.

Adversarial Robustness in Machine Learning참고 문헌 27인용 수 8

한 줄 요약

이 논문은 오버-일반화를 제어하기 위해 추가적인 '쓰레기통' 클래스를 갖춘 증강된 컨volutional 신경망(CNN)을 제안하며, 이는 분포 외 샘플과 적대적 예시에 대한 강건성을 향상시킨다. 대표적인 자연 분포 외 데이터와 보간된 분포 내 샘플을 사용하여 훈련함으로써, 모델은 악성 입력에 대한 거부율을 높이면서도 분포 내 정확도를 유지하여, 적대적 예시와 분포 외 샘플을 정상 클래스로부터 효과적으로 분리한다.

ABSTRACT

Convolutional Neural Networks (CNNs) significantly improve the state-of-the-art for many applications, especially in computer vision. However, CNNs still suffer from a tendency to confidently classify out-distribution samples from unknown classes into pre-defined known classes. Further, they are also vulnerable to adversarial examples. We are relating these two issues through the tendency of CNNs to over-generalize for areas of the input space not covered well by the training set. We show that a CNN augmented with an extra output class can act as a simple yet effective end-to-end model for controlling over-generalization. As an appropriate training set for the extra class, we introduce two resources that are computationally efficient to obtain: a representative natural out-distribution set and interpolated in-distribution samples. To help select a representative natural out-distribution set among available ones, we propose a simple measurement to assess an out-distribution set's fitness. We also demonstrate that training such an augmented CNN with representative out-distribution natural datasets and some interpolated samples allows it to better handle a wide range of unseen out-distribution samples and black-box adversarial examples without training it on any adversaries. Finally, we show that generation of white-box adversarial attacks using our proposed augmented CNN can become harder, as the attack algorithms have to get around the rejection regions when generating actual adversaries.

연구 동기 및 목표

• CNN이 적대적 예시에 취약하고 분포 외 샘플에 대해 높은 신뢰도로 잘못 분류되는 공통된 근본 원인인 오버-일반화를 해결하기 위해.
• 적대적 예시와 분포 외 입력을 동시에 탐지하는 통합적이고 종단 간 솔루션을 개발하기 위해.
• 계산적으로 효율적이고 대표적인 자연 분포 외 데이터셋을 식별하여 쓰레기통 클래스의 효과적인 훈련 데이터로 활용하기 위해.
• 훈련 시 적대적 예시가 필요 없이 자연 분포 외 데이터와 보간된 샘플을 사용함으로써 오버-일반화를 줄일 수 있음을 보여주기 위해.
• 쓰레기통 거부 영역을 도입함으로써 화이트박스 적대적 공격 생성의 곤란함을 높일 수 있음을 보여주기 위해.

제안 방법

• 분포 외 및 적대적 샘플을 명시적으로 모델링하기 위해 표준 CNN에 추가적인 '쓰레기통' 클래스를 도입한다.
• 쓰레기통 클래스를 형성하기 위해 대표적인 자연 분포 외 데이터셋과 보간된 분포 내 샘플을 사용하여 증강된 CNN을 훈련시킨다.
• 쓰레기통 클래스의 훈련에 가장 적합한 자연 분포 외 세트를 평가하고 선택하기 위해 적합도 측정법을 도입한다.
• 결과 모델을 사용하여 분포 외 샘플과 적대적 예시를 정상 클래스에 잘못 분류하는 대신 쓰레기통 클래스에 분류함으로써 탐지한다.
• 모델이 학습한 특징 공간을 활용하여 화이트박스 적대적 공격 생성을 더 어렵게 만들며, 이제 공격자는 쓰레기통 거부 영역을 피해야 한다.
• 다양한 분포 내 및 분포 외 벤치마크에서 임계값 기반 방법(OpenMax, Calibrated CNN)과 표준 CNN과의 성능을 비교한다.

실험 결과

연구 질문

• RQ1 분포 외 및 적대적 샘플을 위해 전용 쓰레기통 클래스를 도입함으로써 CNN에서 오버-일반화를 효과적으로 제어할 수 있는가?
• RQ2 쓰레기통 클래스의 훈련에 효과적으로 사용할 수 있는 대표적인 자연 분포 외 데이터셋을 어떻게 효율적으로 선택할 수 있는가?
• RQ3 자연 분포 외 데이터와 보간된 샘플을 사용하여 증강된 CNN을 훈련하면 분포 외 샘플과 적대적 예시의 탐지가 향상되는가?
• RQ4 기준 모델 대비 증강된 CNN이 적대적 예시와 분포 외 입력의 잘못 분류를 어느 정도 줄이는가?
• RQ5 효과적인 거부 영역을 만들어내기 위해 증강된 CNN이 화이트박스 적대적 공격 생성의 곤란함을 높일 수 있는가?

주요 결과

• 대표적인 자연 분포 외 세트와 보간된 샘플을 사용하여 훈련한 증강된 CNN은 NotMNIST(보이는)에서 99.98%의 거부율, Omniglot(보이지 않는)에서 100%의 거부율을 기록하여 OpenMax와 Calibrated CNN을 뛰어넘었다.
• CIFAR-10에서는 증강 모델이 보이지 않는 분포 외 세트에서 0.00% 오차와 100% 거부율을 기록하여, 임계값 기반 기준 모델보다 뚜렷이 뛰어났다.
• CIFAR-100에서는 증강 모델이 TinyImageNet(보이는)에서 1.52% 오차와 98.35% 거부율을 기록했으며, Calibrated CNN는 높은 클래스 수로 인해 수렴하지 못했다.
• 모델은 분포 내 정확도를 높게 유지(예: CIFAR-10에서 97.05%)하면서도 분포 외 샘플의 잘못 분류를 줄였다.
• 증강된 CNN에 대한 화이트박스 적대적 공격는 더 큰 변형 크기와 더 낮은 효율성을 요구했으며, 공격자가 쓰레기통 거부 영역을 피해야 하기 때문이다.
• 분포 외 세트를 위한 적합도 측정법은 훈련 데이터의 효과적인 선택을 가능하게 하였으며, 이는 직접적으로 모델의 강건성과 일반화 능력을 향상시켰다.