[논문 리뷰] A Downsampled Variant of ImageNet as an Alternative to the CIFAR datasets

Patryk Chrabąszcz, Ilya Loshchilov외 1명|arXiv (Cornell University)|2017. 07. 27.

Advanced Neural Network Applications참고 문헌 9인용 수 371

한 줄 요약

본 논문은 클래스 수를 유지하면서 더 빠른 실험을 가능하게 하기 위해 다운샘플링된 ImageNet 변형(ImageNet16x16/32x32/64x64)을 도입하고, 크기 간의 하이퍼파라미터 영역이 유사함을 보이며, Wide ResNets에서 강력한 성능을 보여준다.

ABSTRACT

The original ImageNet dataset is a popular large-scale benchmark for training Deep Neural Networks. Since the cost of performing experiments (e.g, algorithm design, architecture search, and hyperparameter tuning) on the original dataset might be prohibitive, we propose to consider a downsampled version of ImageNet. In contrast to the CIFAR datasets and earlier downsampled versions of ImageNet, our proposed ImageNet32$ imes$32 (and its variants ImageNet64$ imes$64 and ImageNet16$ imes$16) contains exactly the same number of classes and images as ImageNet, with the only difference that the images are downsampled to 32$ imes$32 pixels per image (64$ imes$64 and 16$ imes$16 pixels for the variants, respectively). Experiments on these downsampled variants are dramatically faster than on the original ImageNet and the characteristics of the downsampled datasets with respect to optimal hyperparameters appear to remain similar. The proposed datasets and scripts to reproduce our results are available at http://image-net.org/download-images and https://github.com/PatrykChrabaszcz/Imagenet32_Scripts

연구 동기 및 목표

• 원래의 클래스 수와 이미지 수를 보존하면서 ImageNet을 다운샘플링하여 더 저렴하고 확장 가능한 벤치마크를 제공한다.
• 다운샘플링이 핵심 학습 역학과 하이퍼파라미터 민감성을 보존하는지 평가한다.
• 네트워크 폭과 학습률이 다운샘플링된 해상도와 어떻게 상호작용하는지 평가하여 저비용 실험을 안내한다.

제안 방법

• 원래의 ImageNet 이미지를 다운샘플링하면서 클래스 라벨과 이미지 수를 유지하여 ImageNet32x32, ImageNet64x64, ImageNet16x16을 생성한다.
• 다운샘플링된 이미지에 맞춰 조정된 표준 CIFAR 유사 구성으로 Wide Residual Networks (WRN-N-k)를 학습시킨다.
• 여섯 가지 다운샘플링 방법(bicubic, bilinear, box, hamming, lanczos, nearest)을 비교하고 nearest neighbor를 열등한 것으로 식별한다.
• 데이터 증가(수평 뒤집기, 임의 이동)를 사용하고 모멘텀을 가진 표준 SGD 및 학습률 감소 스케줄링을 적용한다.
• 여러 네트워크 폭과 다운샘플링 해상도에서 성능을 평가하여 더 큰 모델로의 이전 가능성을 평가한다.

실험 결과

연구 질문

• RQ1 ImageNet을 32x32로 다운샘플링(16x16/64x64 변형 포함)하면 서로 다른 아키텍처와 하이퍼파라미터의 상대적 성능이 보존되는가?
• RQ2 네트워크 너비(k)가 다운샘플링 해상도와 상호작용하여 정확도와 학습 시간에 어떤 영향을 미치는가?
• RQ3 다운샘플링된 ImageNet의 결과가 전체 ImageNet의 결과를 예측하여 저비용의 아키텍처/하이퍼파라미터 탐색을 가능하게 하는가?
• RQ4 다운샘플링된 ImageNet에서 분류 정보를 가장 효과적으로 보존하는 다운샘플링 기법은 어느 것인가?

주요 결과

• 다운샘플링 기법은 nearest neighbor를 제외하고 유사한 결과를 보이며, 모든 실험에서 더 나쁘게 작동한다.
• Wide ResNets는 ImageNet32x32에서 강력한 성능을 달성하며, 이미지당 픽셀 수가 훨씬 적음에도 불구하고 AlexNet의 원래 ImageNet 결과에 근접한다.
• 네트워크 폭을 늘리면 모든 다운샘플링 크기에서 성능이 개선되며, 더 큰 k가 더 나은 결과를 낳는다.
• 최적 학습률 영역은 ImageNet16x16, ImageNet32x32, ImageNet64x64 간에 유사하며, 서로 다른 폭에서도 마찬가지이다.
• 성능 대 학습 시간의 트레이드오프는 최적의 시점 성능을 위해 다운샘플링과 네트워크 크기의 조합 사용을 시사한다.
• 이 결과는 더 비싼 설정으로도 타당하게 일반화되어 아키텍처/하이퍼파라미터 탐색을 위한 더 저렴한 프록시를 가능하게 한다.