[논문 리뷰] Rethinking Natural Adversarial Examples for Classification Models

Xiao Li, Jianmin Li외 4명|arXiv (Cornell University)|2021. 02. 23.

Adversarial Robustness in Machine Learning참고 문헌 46인용 수 7

한 줄 요약

이 논문은 ImageNet-A의 자연스러운 적대적 예제가 분류 모델이 인식하기 어려운 이유를 조사하며, 큰 배경이나 혼잡한 배경이 핵심 요인임을 밝혀낸다. 객체 검출을 적용해 객체를 국소화하고 배경 제거된 이미지로 구성된 ImageNet-A-Plus라는 데이터셋을 만들었으며, 이는 국소화 메커니즘을 갖춘 모델이 훨씬 높은 정확도를 보임을 보여주며, 심지어 최신 기술 모델들조차도 인간보다 성능이 열등하여 내부 객체 변형에 대한 강건성 향상의 필요성을 드러낸다.

ABSTRACT

Recently, it was found that many real-world examples without intentional modifications can fool machine learning models, and such examples are called "natural adversarial examples". ImageNet-A is a famous dataset of natural adversarial examples. By analyzing this dataset, we hypothesized that large, cluttered and/or unusual background is an important reason why the images in this dataset are difficult to be classified. We validated the hypothesis by reducing the background influence in ImageNet-A examples with object detection techniques. Experiments showed that the object detection models with various classification models as backbones obtained much higher accuracy than their corresponding classification models. A detection model based on the classification model EfficientNet-B7 achieved a top-1 accuracy of 53.95%, surpassing previous state-of-the-art classification models trained on ImageNet, suggesting that accurate localization information can significantly boost the performance of classification models on ImageNet-A. We then manually cropped the objects in images from ImageNet-A and created a new dataset, named ImageNet-A-Plus. A human test on the new dataset showed that the deep learning-based classifiers still performed quite poorly compared with humans. Therefore, the new dataset can be used to study the robustness of classification models to the internal variance of objects without considering the background disturbance.

연구 동기 및 목표

• 표준 분류 모델이 ImageNet-A의 자연스러운 적대적 예제에서 실패하는 이유를 조사하기 위해.
• 배경 혼잡함과 이국적인 배경이 모델의 오분류에 기여하는 핵심 요인임을 특정하기 위해.
• 배경 간섭을 제거함으로써 내부 객체 변형을 고립시킨 새로운 평가 기준인 ImageNet-A-Plus를 개발하기 위해.
• 맥락적 요란함 없이 딥 러닝 모델의 내부 객체 변형에 대한 강건성을 평가하기 위해.
• 국소화 인식 기능을 갖춘 모델이 미세조정 없이도 ImageNet-A에서 표준 분류기보다 뚜렷이 뛰어난 성능을 보임을 입증하기 위해.

제안 방법

• ImageNet 분류 모델을 백본으로 사용하는 객체 검출 모델을 적용해 ImageNet-A 이미지의 객체를 국소화함으로써 배경 영향을 감소시켰다.
• 동일한 백본 네트워크를 분류 작업에서 사용한 것과 동일한 표준 훈련 프rotocol를 사용해 검출 모델을 훈련시켰다.
• ImageNet-A 이미지에서 객체를 수동으로 잘라내어 내부 객체 변형에 집중한 새로운 데이터셋인 ImageNet-A-Plus를 구축했다.
• 600개의 이미지에 대해 ImageNet-A-Plus에서 두 명의 숙련된 평가자와 함께 인간 평가 실험을 수행하여 인간 수준의 성능을 평가했다.
• EfficientNet-B7와 SE-ResNeXt를 포함한 여러 아키텍처에서 ImageNet-A와 ImageNet-A-Plus에서의 모델 성능을 비교했다.
• 인간 인식 성능에 기반해 ImageNet-A-Plus를 세 가지 난이도 하위집합(A, B, C)으로 나누어 난이도 수준에 따라 모델 행동을 분석했다.

실험 결과

연구 질문

• RQ1 표준 분류 모델이 ImageNet-A의 자연스러운 적대적 예제에서 떨어지는 성능을 보이는 이유는 무엇인가?
• RQ2 배경 혼잡함 또는 이국적인 배경이 ImageNet-A에서 모델의 오분류에 얼마나 기여하는가?
• RQ3 동일한 백본 네트워크를 사용하는 객체 검출 모델이 표준 분류기보다 ImageNet-A에서 뚜렷이 높은 정확도를 달성할 수 있는가?
• RQ4 배경 간섭을 제거한 새로운 기준(ImageNet-A-Plus)에서 최신 기술 분류 모델의 성능은 어떠한가?
• RQ5 내부 객체 변형에 대한 강건성 평가에서 인간과 모델 간의 격차는 지속적으로 존재하는가?

주요 결과

• 동일한 백본을 사용하는 객체 검출 모델은 ImageNet-A에서 상위-1 정확도 53.95%를 기록했으며, 표준 분류기의 5% 정확도보다 뚜렷이 뛰어났다.
• EfficientNet-B7 기반 검출 모델은 ImageNet에서 훈련된 이전 최고 성능 모델을 초월해 ImageNet-A에서 최신 기술 성능을 달성했다.
• ImageNet-A에서 수동으로 객체를 잘라내어 만든 ImageNet-A-Plus는 내부 객체 변형과 배경 간섭을 성공적으로 분리했다.
• 인간 평가자들은 ImageNet-A-Plus에서 상위-1 정확도 79.5%와 76.7%를 기록했으며, 딥 러닝 모델의 성능을 크게 초월했다.
• 최고의 모델인 EfficientNet-B7에 AdvProp를 적용한 경우조차도 ImageNet-A-Plus의 과도한 예제에서 실패했으며, 내부 객체 변형에 대한 강건성 격차가 크다는 것을 시사했다.
• 모델의 성능은 ImageNet-A-Plus의 난이도 하위집합에서 인간 성능과 유사한 추세를 보였으며, 이는 모델이 가장 모호한 케이스에서 가장 어려움을 겪고 있음을 시사한다.