[논문 리뷰] Natural Adversarial Examples

Dan Hendrycks, Kevin Zhao외 3명|arXiv (Cornell University)|2019. 07. 16.

Adversarial Robustness in Machine Learning참고 문헌 77인용 수 193

한 줄 요약

논문은 두 가지 실제 세계의 적대적으로 필터링된 데이터세트인 ImageNet-A와 ImageNet-O를 소개하여 ImageNet 모델의 강건성에 큰 격차가 있음을 보여주고, 개선이 단순한 데이터 증강이 아닌 구조적 변화가 필요함을 시사한다. 이 연구는 이러한 어려운 예시들이 트랜스포머를 포함한 모델들 간에 전달될 수 있음을 보여주며 공유된 약점을 강조한다.

ABSTRACT

We introduce two challenging datasets that reliably cause machine learning model performance to substantially degrade. The datasets are collected with a simple adversarial filtration technique to create datasets with limited spurious cues. Our datasets' real-world, unmodified examples transfer to various unseen models reliably, demonstrating that computer vision models have shared weaknesses. The first dataset is called ImageNet-A and is like the ImageNet test set, but it is far more challenging for existing models. We also curate an adversarial out-of-distribution detection dataset called ImageNet-O, which is the first out-of-distribution detection dataset created for ImageNet models. On ImageNet-A a DenseNet-121 obtains around 2% accuracy, an accuracy drop of approximately 90%, and its out-of-distribution detection performance on ImageNet-O is near random chance levels. We find that existing data augmentation techniques hardly boost performance, and using other public training datasets provides improvements that are limited. However, we find that improvements to computer vision architectures provide a promising path towards robust models.

연구 동기 및 목표

• distribution shift 하에서 자연스럽고 실제 세계의 적대적 예시를 사용한 강건한 평가를 동기 부여한다.
• 스퓨리어스 신호에 대한 의존도를 줄이는 도전적인 테스트 세트(ImageNet-A와 ImageNet-O)를 만든다.
• 데이터 증강이나 추가 데이터, 또는 구조적 변화가 이러한 이동에 대한 강건성을 개선하는지 평가한다.
• 개선이 트랜스포머를 포함한 모델 가족 전반으로 전달되는지 보여주고, 유망한 방향을 식별한다.

제안 방법

• ImageNet-A를 구성하기 위해 고정된 ResNet-50이 올바르게 예측한 이미지들을 제거하고 낮은 신뢰도의 오분류를 선택하는 적대적 여과(adversarial filtration)를 수행한다.
• ImageNet-O를 위해 ImageNet-22K를 필터링하여 ResNet-50이 높은 신뢰도로 잘못 분류하는 이미지들을 인디스트리뷰션으로 간주하여 적대적 여과를 적용한다.
• 단일 라벨의 고품질 이미지를 보장하기 위한 수동 선별를 수행한다.
• ImageNet-A에서 Top-1 정확도와 ImageNet-O에서 AUPR을 통한 이상 탐지 성능 등 강건성을 평가한다.
• 표준 데이터 증강, 사전 학습, 및 구조적 변경과의 기준선 비교를 수행한다.
• ResNet 계열, ResNeXt, SE 블록, Res2Net, 비전 트랜스폼(DeiT) 등 크로스-아키텍처 평가를 수행한다.

실험 결과

연구 질문

• RQ1 자연적으로 발생하는 적대적으로 필터링된 이미지가 아키텍처 전반의 ImageNet 분류기에 어떤 영향을 미치는가?
• RQ2 표준 데이터 증강이나 추가 데이터가 ImageNet-A와 ImageNet-O의 성능을 의미 있게 향상시키는가?
• RQ3 더 넓은 네트워크, Res2Net, 자기 주의와 같은 구조적 변화가 이러한 데이터 세트에 대한 강건성과 OOD 탐지를 의미 있게 강화하는가?
• RQ4 적대적으로 필터링된 예시가 보이지 않는 모델들(비convolutional 아키텍처인 비전 트랜스폼 포함)로 전달되는가?
• RQ5 ImageNet-A 예시가 현재 CNN의 실패 모드를 어떤 방식으로 드러내며 비의미적 단서에의 의존을 어떻게 보여주는가?

주요 결과

• ImageNet-A로 인해 DenseNet-121의 정확도가 약 2% 정도로 떨어지며 일반적인 ImageNet-1K 성능 대비 약 90% 감소한다.
• ImageNet-O의 목적은 인디스트리뷰션 탐지이며, 기본 탐지기에서 OOD 이상치 점수는 일반적으로 무작위-기회 수준이다.
• 데이터 증강만으로 얻는 이득은 보잘것없고(예: 다양한 방법으로도 십 자리 증가에 그치며, 일부 맥락에서 최상은 대략 7-8%), 수 배의 데이터로 학습하더라도 수익이 감소한다.
• ImageNet-21K에서 사전 학습한 후 ImageNet-1K로 미세조정하면 ImageNet-A 정확도는 11.41%로, ImageNet-O AUPR은 21.86%로 상승한다(대비 기준선 약 2.17%의 ImageNet-A).
• 구조적 변화가 데이터 증강이나 더 많은 데이터보다 큰 강건성 향상을 가져오며(예: ResNet-50에서 ResNet-152로의 증가: ImageNet-A가 2.17%에서 6.1%로 상승; ResNeXt-50(32×4d)에서 더 큰 용량 변형들; Res2Net 및 자기 주의 변형이 ImageNet-A 정확도와 ImageNet-O AUPR을 크게 향상; 비전 트랜스포머(DeiT)도 이 작업들로의 전달이 나타난다).
• 자기 주의와 다중 스케일/백본 혁신(예: Res2Net v1b, SE 블록)으로 ImageNet-A와 ImageNet-O에서 주목할 만한 개선이 나타나며, 더 큰 모델에서 더 큰 이득이 나타난다(예: DeiT-base가 ImageNet-A에서 28.2%, ImageNet에서 24.8% AUPR 달성).