[論文レビュー] Data Augmentation by Pairing Samples for Images Classification

Hiroshi Inoue|arXiv (Cornell University)|Jan 9, 2018

Machine Learning and Data Classification参考文献 11被引用数 338

ひとこと要約

SamplePairingは、ランダムに選択された2つの訓練画像を重ね合わせて新しい訓練サンプルを合成し、最初の画像のラベルを使用します。これにより、データが限られている場合を特に含め、複数のデータセットで精度が大幅に向上します。

ABSTRACT

Data augmentation is a widely used technique in many machine learning tasks, such as image classification, to virtually enlarge the training dataset size and avoid overfitting. Traditional data augmentation techniques for image classification tasks create new samples from the original training data by, for example, flipping, distorting, adding a small amount of noise to, or cropping a patch from an original image. In this paper, we introduce a simple but surprisingly effective data augmentation technique for image classification tasks. With our technique, named SamplePairing, we synthesize a new sample from one image by overlaying another image randomly chosen from the training data (i.e., taking an average of two images for each pixel). By using two images randomly selected from the training set, we can generate $N^2$ new samples from $N$ training samples. This simple data augmentation technique significantly improved classification accuracy for all the tested datasets; for example, the top-1 error rate was reduced from 33.5% to 29.0% for the ILSVRC 2012 dataset with GoogLeNet and from 8.22% to 6.93% in the CIFAR-10 dataset. We also show that our SamplePairing technique largely improved accuracy when the number of samples in the training set was very small. Therefore, our technique is more valuable for tasks with a limited amount of training data, such as medical imaging tasks.

研究の動機と目的

• 限られた訓練データで画像分類の一般化を改善する動機付け。
• ペアリングして訓練セットの実質的な大きさを拡張する、シンプルなデータ拡張法を導入する。
• 標準ベンチマークでSamplePairingを評価し、他の拡張法との相互作用を分析する。

提案手法

• 各訓練サンプルごとに、2つのランダムに選択された訓練画像を平均して新しい画像を合成する。
• 混合画像に最初の画像のラベルを割り当て、2番目の画像のラベルは無視する。
• ネットワークアーキテクチャを変更せず、既存の拡張法とSamplePairingを統合する。
• 初期エポック後にSamplePairingを有効化し、学習中に定期的に無効化してファインチューニングを行う段階的な訓練で評価する。
• 等重量付けのペアリングの利点をラベルブレンディングなしで分離するため、混合やクラス間学習などの関連手法と比較する。

実験結果

リサーチクエスチョン

• RQ1 ベースライン拡張と比較して、SamplePairingはILSVRC、CIFAR-10/100、SVHNなどのデータセット全体で一般化を改善しますか。
• RQ2 overlays の画像を訓練データから選ぶか外部データから選ぶかで性能はどう変わりますか。
• RQ3 等重量平均（ラベルブレンディングなし）は、ラベルを混合する方法や加重混合を用いる方法と同等に効果的ですか。
• RQ4 訓練データが少ない場合やクラス不均衡の場合、SamplePairingはどの程度機能しますか。
• RQ5 訓練中に時折SamplePairingを無効化することが最終的な性能にどのような影響を与えますか。

主な発見

• SamplePairingは、ILSVRC、CIFAR-10、CIFAR-100、SVHNにおいて、ベースラインと比較して検証誤差を低減する。
• GoogLeNetを用いたILSVRCでトップ1誤差が33.5%から29.0%に低下。
• シンプルな6層ネットワークでCIFAR-10の誤差が8.22%から6.93%に低下。
• 制限された訓練データ（例：CIFAR-10でクラスあたり100サンプル）では、精度向上がより大きくなる（例：43.1%から31.0%へ）。
• 訓練セットの外部から画像を重ね合わせると改善が見られるが、訓練セット内のオーバーレイを使用する方が効果的である。
• 1枚の画像のみのラベルを使用（ラベルブレンディングなし）の場合、ラベルを混合する手法と同程度の性能を示す。