[논문 리뷰] CINIC-10 is not ImageNet or CIFAR-10

Luke Nicholas Darlow, Elliot J. Crowley외 2명|arXiv (Cornell University)|2018. 10. 02.

Image Retrieval and Classification Techniques인용 수 168

한 줄 요약

CINIC-10은 CIFAR-10에 다운샘플링된 ImageNet 이미지를 추가하여 더 크고 동일하게 나뉜 데이터셋으로 CIFAR-10의 대체로 사용할 수 있으며 CIFAR와 ImageNet 샘플 간 배포 이동이 발생합니다.

ABSTRACT

In this brief technical report we introduce the CINIC-10 dataset as a plug-in extended alternative for CIFAR-10. It was compiled by combining CIFAR-10 with images selected and downsampled from the ImageNet database. We present the approach to compiling the dataset, illustrate the example images for different classes, give pixel distributions for each part of the repository, and give some standard benchmarks for well known models. Details for download, usage, and compilation can be found in the associated github repository.

연구 동기 및 목표

• Motivate benchmarking beyond CIFAR-10 and ImageNet by providing a larger, intermediate-difficulty dataset.
• Describe a method to construct CINIC-10 by augmenting CIFAR-10 with ImageNet-derived images.
• Characterize distribution differences between CIFAR and ImageNet samples.
• Provide standard benchmarks to establish baseline performance on CINIC-10.

제안 방법

• CIFAR-10 이미지를 PNG 형식으로 재포맷하고 학습/검증/테스트를 각각 20,000장의 CIFAR-10 이미지로 구성된 동등한 분할을 생성한다.
• CIFAR-10 클래스에 해당하는 ImageNet Fall 2011의 synset를 식별하고 사용한다.
• ImageNet JPEG를 32×32 컬러 이미지로 변환하고, CIFAR-10를 보강하기 위해 synset 그룹에서 클래스당 무작위로 21,000장의 이미지를 샘플링한다.
• 21000개의 ImageNet 샘플을 학습/검증/테스트 분할에 걸쳐 배포하며 원천 및 synset 정보를 인코딩하는 파일명을 사용한다.
• 사용 지침과 정규화 평균 및 표준편차를 포함한 PyTorch 데이터 로딩 예제를 제공한다.

실험 결과

연구 질문

• RQ1 CINIC-10이 데이터셋 크기와 클래스 분포 측면에서 CIFAR-10 및 ImageNet과 어떻게 비교되는가?
• RQ2 CIFAR-10 이미지로 학습하고 CINIC-10(ImageNet 기여 샘플)에서 테스트할 때 분포 이동의 효과는 무엇인가?
• RQ3 표준 아키텍처를 사용했을 때 CINIC-10에서 기대할 수 있는 초기 모델 성능은 어느 정도인가?
• RQ4 CINIC-10이 CIFAR-10의 실용적 드롭인 대체재로 동일한 전처리를 제공할 수 있는가?

주요 결과

Model	No. Parameters	Test Error
VGG-16	14.7M	12.23 ± 0.16
ResNet-18	11.2M	9.73 ± 0.05
GoogLeNet	6.2M	8.83 ± 0.12
ResNeXt29_2x64d	9.2M	8.55 ± 0.15
DenseNet-121	7.0M	8.74 ± 0.16
MobileNet	3.2M	18.00 ± 0.16

• CINIC-10은 270,000장의 이미지를 포함하며, CIFAR-10의 60,000장과 ImageNet 유래의 210,000장을 포함하고, 학습/검증/테스트가 동등한 크기로 분할되어 있다.
• 각 클래스당 분할당 9,000장의 이미지가 있어 세 분할 전체에 걸쳐 클래스당 27,000장으로 구성된다.
• CINIC-10 이미지는 CIFAR와 ImageNet 샘플 간 배포 이동이 나타나며, 색 분포는 비슷하지만 동일하지 않다.
• 표준 모델의 CINIC-10에 대한 벤치마크 결과(테스트 오차)로는: VGG-16 12.23% ± 0.16, ResNet-18 9.73% ± 0.05, GoogLeNet 8.83% ± 0.12, ResNeXt29_2x64d 8.55% ± 0.15, DenseNet-121 8.74% ± 0.16, MobileNet 18.00% ± 0.16.