[論文レビュー] CINIC-10 is not ImageNet or CIFAR-10

Luke Nicholas Darlow, Elliot J. Crowley+2 more|arXiv (Cornell University)|Oct 2, 2018

Image Retrieval and Classification Techniques被引用数 168

ひとこと要約

CINIC-10 は CIFAR-10 をダウンサンプリングした ImageNet 画像を追加して、分布シフトを導入しつつ CIFAR-10 の代替としてドロップイン可能な、均等に分割された大きなデータセットを形成します。

ABSTRACT

In this brief technical report we introduce the CINIC-10 dataset as a plug-in extended alternative for CIFAR-10. It was compiled by combining CIFAR-10 with images selected and downsampled from the ImageNet database. We present the approach to compiling the dataset, illustrate the example images for different classes, give pixel distributions for each part of the repository, and give some standard benchmarks for well known models. Details for download, usage, and compilation can be found in the associated github repository.

研究の動機と目的

• CIFAR-10 および CIFAR-10 を超えたベンチマークの動機づけとして、より大きく中間難易度のデータセットを提供する。
• CIFAR-10 を ImageNet 由来の画像で拡張して CINIC-10 を構築する方法を説明する。
• CIFAR と ImageNet のサンプル間の分布差を特徴づける。
• CINIC-10 のベースライン性能を確立するための標準ベンチマークを提供する。

提案手法

• CIFAR-10 の画像を PNG 形式に再フォーマットし、各セットに 20,000 枚ずつの CIFAR-10 画像を含む等しい訓練/検証/テスト分割を作成する。
• CIFAR-10 のクラスに対応する ImageNet Fall 2011 の synset を特定して使用する。
• ImageNet の JPEG を 32×32 のカラー画像に変換し、synset グループからクラスごとに 21,000 枚をランダムに抽出して CIFAR-10 を拡張する。
• 21000 枚の ImageNet サンプルを訓練/検証/テストセットに分配し、ファイル名に出所と synset 情報をエンコードする。
• 使用ガイドと正規化の平均値と標準偏差を用いた PyTorch のデータ読み込み例を提供する。

実験結果

リサーチクエスチョン

• RQ1 CINIC-10 はデータセットのサイズとクラス分布の点で CIFAR-10 および ImageNet とどのように比較されるか？
• RQ2 CIFAR-10 画像で学習し CINIC-10（ImageNet 提供サンプル）で評価した場合の分布シフトの影響は？
• RQ3 標準的なアーキテクチャを用いた場合、CINIC-10 でどの程度のベースラインモデル性能が期待できるか？
• RQ4 CINIC-10 は CIFAR-10 の実用的なドロップイン置換として、前処理と同等の前提で機能するか？

主な発見

モデル	パラメータ数	テスト誤差
VGG-16	14.7M	12.23 ± 0.16
ResNet-18	11.2M	9.73 ± 0.05
GoogLeNet	6.2M	8.83 ± 0.12
ResNeXt29_2x64d	9.2M	8.55 ± 0.15
DenseNet-121	7.0M	8.74 ± 0.16
MobileNet	3.2M	18.00 ± 0.16

• CINIC-10 には 270,000 枚の画像が含まれ、60,000 枚の CIFAR-10 画像と 210,000 枚の ImageNet 由来画像から成り、訓練/検証/テストの分割は等しく分割される。
• 各クラスの各分割には 9,000 枚、三分割全体で 27,000 枚となる。
• CINIC-10 の画像は CIFAR と ImageNet サンプル間で分布シフトを示し、色分布は似ているが完全には同一ではない。
• 標準モデルの CINIC-10 に対するベンチマーク結果（テスト誤差）には以下が含まれる: VGG-16 12.23% ± 0.16、ResNet-18 9.73% ± 0.05、GoogLeNet 8.83% ± 0.12、ResNeXt29_2x64d 8.55% ± 0.15、DenseNet-121 8.74% ± 0.16、MobileNet 18.00% ± 0.16。