[논문 리뷰] ImageNet-Hard: The Hardest Images Remaining from a Study of the Power of Zoom and Spatial Biases in Image Classification

Mohammad Reza Taesiri, Giang Nguyen외 3명|arXiv (Cornell University)|2023. 04. 11.

Domain Adaptation and Few-Shot Learning인용 수 7

한 줄 요약

이 논문은 최적의 줌 인 조건에서도 여전히 잘못 분류되는 가장 도전적인 ImageNet 이미지로 구성된 새로운 벤치마크인 ImageNet-Hard를 소개한다. 저자들은 테스트 시점 줌 인이 ImageNet에서 정확도를 98.91%로 향상시킴을 입증하고, ImageNet-A와 ObjectNet에서 강한 공간적 편향이 존재함을 밝혀내며, MEMO를 능가하는 더 빠르고 해석가능성이 높은 새로운 줌 기반 테스트 시점 증강(TTA) 방법을 제안한다.

ABSTRACT

Image classifiers are information-discarding machines, by design. Yet, how these models discard information remains mysterious. We hypothesize that one way for image classifiers to reach high accuracy is to first zoom to the most discriminative region in the image and then extract features from there to predict image labels, discarding the rest of the image. Studying six popular networks ranging from AlexNet to CLIP, we find that proper framing of the input image can lead to the correct classification of 98.91% of ImageNet images. Furthermore, we uncover positional biases in various datasets, especially a strong center bias in two popular datasets: ImageNet-A and ObjectNet. Finally, leveraging our insights into the potential of zooming, we propose a test-time augmentation (TTA) technique that improves classification accuracy by forcing models to explicitly perform zoom-in operations before making predictions. Our method is more interpretable, accurate, and faster than MEMO, a state-of-the-art (SOTA) TTA method. We introduce ImageNet-Hard, a new benchmark that challenges SOTA classifiers including large vision-language models even when optimal zooming is allowed.

연구 동기 및 목표

• 이미지 분류기가 전체 이미지 특징 추출을 하는 것이 아니라, 분류에 기여하는 영역으로 줌 인하는 데 의존하는지 조사하기 위해.
• ImageNet-A와 ObjectNet과 같은 인기 있는 시각 벤치마크에서 공간적 편향(특히 중심 편향)을 식별하고 정량화하기 위해.
• 분류 정확도를 향상시키기 위해 줌 인을 명시적으로 활용하는 테스트 시점 증강 방법을 개발하기 위해.
• 최적의 줌 인 조건에서도 여전히 잘못 분류되는 가장 어려운 이미지들로 구성된 새로운 벤치마크인 ImageNet-Hard를 구축하기 위해.
• 최첨단 시각 모델, 특히 시각-언어 모델이 어려운, 드문, 또는 잘 정의되지 않은 이미지에 직면했을 때 지속적인 한계를 드러내기 위해.

제안 방법

• 저자들은 작은 이미지 차원을 목표 스케일 S로 조정하고 3×3 격자 중심에 맞춰 9개의 클립을 생성함으로써 체계적인 줌 인 연구를 수행한다.
• AlexNet부터 CLIP에 이르기까지 다양한 모델을 최적의 줌 인 조건 하에서 ImageNet, ImageNet-A, ObjectNet 및 기타 벤치마크에서 평가하여 정확도 향상을 분석한다.
• 예측 이전에 모델이 줌 인 작업을 수행하도록 유도하는 새로운 TTA 기법을 도입하여 정확도와 견고성을 향상시킨다.
• 이 방법은 테스트 시점에 줌 인을 인덕티브 바이어스로 통합하여 MEMO보다 정확도, 속도, 해석가능성 면에서 뛰어나다.
• ImageNet-Hard에서 잘못 분류된 패턴을 분석하여 최첨단 모델의 잔여 과제를 규명한다.
• CLIP가 324개의 줌 설정 조건에서도 실패하는 7개의 ImageNet 규모 데이터셋에서 유래한 1000개 클래스 분류 벤치마크인 ImageNet-Hard를 공개한다.

실험 결과

연구 질문

• RQ1 최적의 줌 인 조건이 최첨단 이미지 분류기의 ImageNet에서의 정확도를 크게 향상시킬 수 있는가?
• RQ2 공간적 편향(특히 중심 편향)이 ImageNet-A와 ObjectNet에서 모델 성능에 얼마나 큰 영향을 미치는가?
• RQ3 줌 인을 테스트 시점 증강 전략으로 효과적으로 활용하여 모델의 정확도와 해석가능성을 향상시킬 수 있는가?
• RQ4 최적의 줌 인 조건에서도 여전히 잘못 분류되는 이미지의 유형은 무엇이며, 그 이유는 무엇인가?
• RQ5 최첨단 시각 모델, 특히 시각-언어 모델은 가장 어려운 나머지 이미지들로 구성된 새로운 벤치마크에서 어떻게 성능을 내는가?

주요 결과

• 최적의 줌 인 조건에서 최첨단 모델은 ImageNet에서 98.91%의 정확도를 달성하며, 약 0.39%의 이미지(약 390개)만이 여전히 잘못 분류된다.
• ImageNet-A와 ObjectNet은 중심 편향을 강하게 보이며, 중심 클립만으로도 ResNet-50의 정확도가 ImageNet-A에서 0.09%에서 14.58%로 상승한다.
• 제안된 줌 기반 TTA 방법은 기본 모델과 MEMO를 모두 능가하는 정확도를 확보하면서도 더 빠르고 해석가능성이 높다.
• 최첨단 모델, 특히 CLIP ViT-L/14는 ImageNet-Hard에서 19% 이하의 정확도를 기록하여 여전히 큰 과제가 있음을 시사한다.
• ImageNet-Hard에서 가장 어려운 이미지는 주로 드문, 잘 정의되지 않은, 또는 모호한 이미지들로 구성되어 있어 현재 모델의 일반화 능력에 한계가 있음을 드러낸다.
• ImageNet-Hard는 최첨단 시각-언어 모델이 최적의 줌 인 조건에서도 도전받는다 할지라도 향후 모델 평가에 유효한 벤치마크이다.