[논문 리뷰] Do ImageNet Classifiers Generalize to ImageNet?

Benjamin Recht, Rebecca Roelofs외 2명|arXiv (Cornell University)|2019. 02. 13.

Advanced Neural Network Applications참고 문헌 52인용 수 396

한 줄 요약

이 논문은 CIFAR-10과 ImageNet의 일반화 능력을 평가하기 위해 새로운 테스트 세트를 재생성했으며, 상당한 정확도 감소와 원래 정확도와 새로운 정확도 사이의 강한 선형 관계를 발견하여 데이터 정리 및 분포 차이에 의한 취약성이 적응적 과적합 때문이 아님을 시사한다.

ABSTRACT

We build new test sets for the CIFAR-10 and ImageNet datasets. Both benchmarks have been the focus of intense research for almost a decade, raising the danger of overfitting to excessively re-used test sets. By closely following the original dataset creation processes, we test to what extent current classification models generalize to new data. We evaluate a broad range of models and find accuracy drops of 3% - 15% on CIFAR-10 and 11% - 14% on ImageNet. However, accuracy gains on the original test sets translate to larger gains on the new test sets. Our results suggest that the accuracy drops are not caused by adaptivity, but by the models' inability to generalize to slightly "harder" images than those found in the original test sets.

연구 동기 및 목표

• CIFAR-10과 ImageNet에서 학습된 이미지 분류기가 동일 원천에서 새로 수집된 테스트 데이터로 일반화하는지 평가한다.
• 데이터 수집/레이블링 변동이 보고된 정확도에 미치는 영향을 정량화한다.
• 하락이 적응성인지 아니면 테스트 데이터의 분포 변화 때문인지 구분한다.
• 새로운 테스트 세트에서 모델 순위 및 진행 상황이 어떻게 나타나는지 분석한다.
• 향후 일반화 연구를 촉진하기 위한 재현 가능한 테스트 세트와 코드를 제공한다.

제안 방법

• CIFAR-10의 Tiny Images(를 포함) 및 ImageNet의 Flickr 유래 이미지를 사용하여 원본 테스트 세트 생성 프로세스를 재현하고 동일 데이터 소스에서 새로운 테스트 세트를 얻는다.
• 레이블 품질을 보장하고 원래의 라벨링 프로토콜과 일치하도록 후보 이미지를 수동으로 선별한다( CIFAR-10 라벨링은 학생들에 의해; ImageNet은 MTurk 기반 라벨링).
• AlexNet에서 최첨단 아키텍처에 이르는 10년간의 개발을 아우르는 다양한 모델을 원본 및 새로운 테스트 세트에서 평가한다.
• 적응성, 분포, 일반화 격차로 정확도 차이를 분해하고 원래 정확도와 새로운 정확도 사이의 선형 관계를 분석한다.
• MTurk 주석 선택이 ImageNet 성능에 미치는 영향을 세 가지 변형 테스트 세트로 구성하여 살펴본다(다른 선택 빈도 전략).

실험 결과

연구 질문

• RQ1 새로 수집된 테스트 세트에서의 분류기 성능이 CIFAR-10 및 ImageNet의 원래 테스트 세트에서의 성능과 어떻게 비교되는가?
• RQ2 적응성(테스트 세트에 대한 과적합) 대 데이터 라벨링 및 수집의 분포 차이에 의한 정확도 감소의 부분은 어느 정도인가?
• RQ3 새로운 테스트 세트에서도 후속 모델이 원래 세트에서의 순위를 유지하는가, 그리고 원래 세트의 향상이 새 세트의 향상을 예측하는가?
• RQ4 MTurk 라벨링 선택 및 주석 전략이 ImageNet 정확도에 얼마나 민감한가?
• RQ5 관찰된 정확도 감소를 분포 변화 하에서 모델 순서를 보존하는 간단한 데이터 난이도 모델로 설명할 수 있는가?

주요 결과

• 새로운 테스트 세트에서 모든 모델의 정확도에 유의미한 감소가 나타났다: CIFAR-10에서 3%–15%; ImageNet에서 11%–14% 감소.
• ImageNet에서 최고 모델의 감소는 연구 기간 동안 대략 다섯 해의 진전에 해당한다.
• 원본 테스트 세트와 새로운 테스트 세트 사이에서 모델 순위는 대체로 보존되었고, 원래 정확도가 높을수록 새로운 정확도도 더 높게 예측되는 경향이 있다.
• 원래 정확도와 새로운 정확도 사이에 선형 관계가 존재하며 기울기가 1보다 큰 것으로 나타났다(CIFAR-10에서 1.69, ImageNet에서 1.11), 이는 작은 원래 이득이 새로운 세트에서 더 큰 이득으로 이어짐을 시사한다.
• MTurk 주석 전략은 ImageNet에서 정확도에 큰 영향을 미치며; TopImages는 정확도를 약간 증가시키고, MatchedFrequency는 큰 감소를 유발하여 라벨링 선택에 취약함을 보여준다.
• 분포 차이(데이터 수집/레이블링의 차이)가 정확도 하락의 주된 원인으로 식별되며, 적응적 과적합보다 더 큰 영향을 미친다.