[論文レビュー] The Effectiveness of Data Augmentation in Image Classification using Deep Learning

Luis Perez, Jason Wang|arXiv (Cornell University)|Dec 13, 2017

Generative Adversarial Networks and Image Synthesis参考文献 7被引用数 2,535

ひとこと要約

この論文は、Tiny ImageNetとMNISTの小さな二クラスデータセットで、従来のデータ拡張、GANベースのスタイル転送、ニューラル拡張戦略を比較し、いくつかのケースでニューラル拡張が従来手法より優れる可能性を示しています。

ABSTRACT

In this paper, we explore and compare multiple solutions to the problem of data augmentation in image classification. Previous work has demonstrated the effectiveness of data augmentation through simple techniques, such as cropping, rotating, and flipping input images. We artificially constrain our access to data to a small subset of the ImageNet dataset, and compare each data augmentation technique in turn. One of the more successful data augmentations strategies is the traditional transformations mentioned above. We also experiment with GANs to generate images of different styles. Finally, we propose a method to allow a neural net to learn augmentations that best improve the classifier, which we call neural augmentation. We discuss the successes and shortcomings of this method on various datasets.

研究の動機と目的

• データが制限されているときに、異なるデータ拡張技術が画像分類にどのような影響を与えるかを調査する。
• 従来の拡張、GANベースのスタイル転送、ニューラル拡張を二クラス設定で比較する。
• 学習された拡張が過学習を減らし、データセットを跨いだ一般化を改善できるかを評価する。

提案手法

• Tiny ImageNetとMNISTの二クラスサブセットで小さなCNN（SmallNet）を訓練する。
• 従来のアフィン変換（シフト、ズーム、回転、反転、色相/色調の変更）を適用して拡張データを生成する。
• CycleGAN風のスタイル転送を用いて、拡張のための画像のスタイル付きバージョンを作成する。
• 同一クラスの2つの画像を与えると、分類器へ入力する拡張画像を出力する拡張ネットワーク（AugNet）を開発する。
• 分類損失と拡張損失（コンテンツまたはスタイル）を組み合わせた損失で訓練する、あるいは拡張損失なしで訓練し結果を比較する。
• Adam最適化器を用いて40エポックで検証精度を測定し、すべての拡張アプローチを評価する。

実験結果

リサーチクエスチョン

• RQ1 従来／GANベース／ニューラル拡張法は、小規模な二クラスデータセットで検証精度を改善する上でどう比較されるか？
• RQ2 コンテンツ損失またはスタイル損失を用いたニューラル拡張は、従来の拡張やGANベースの手法を上回るか？
• RQ3 ニューラル拡張法は、犬対猫、犬対金魚、MNISTなど、異なるデータセット上で頑健か？

主な発見

Dataset (pair)	Augmentation	Validation Accuracy
Dogs vs Goldfish	None	0.855
Dogs vs Goldfish	Traditional	0.890
Dogs vs Goldfish	GANs	0.865
Dogs vs Goldfish	Neural + No Loss	0.915
Dogs vs Goldfish	Neural + Content Loss	0.900
Dogs vs Goldfish	Neural + Style	0.890
Dogs vs Goldfish	Control	0.840
Dogs vs Cats	None	0.705
Dogs vs Cats	Traditional	0.775
Dogs vs Cats	GANs	0.720
Dogs vs Cats	Neural + No Loss	0.765
Dogs vs Cats	Neural + Content Loss	0.770
Dogs vs Cats	Neural + Style	0.740
Dogs vs Cats	Control	0.710
MNIST 0s vs 8s	None	0.972
MNIST 0s vs 8s	Neural + No Loss	0.975
MNIST 0s vs 8s	Neural + Content Loss	0.968
MNIST 0s vs 8s	(no style for grayscale)	-

• 従来の拡張は拡張なしと比較して検証精度を向上させる（例：犬対金魚は0.855から0.890へ）。
• GANsによる拡張は一部の場合で拡張なしよりわずかな改善を示すが、普遍的ではない（例：犬対金魚は0.865）。
• 拡張なし損失を用いたニューラル拡張は犬対金魚で最良の検証精度0.915を達成。
• コンテンツ損失またはスタイル損失を用いるニューラル拡張は、犬対猫および犬対金魚では一般に最良のニューラル/無損失設定と同等かやや劣る。
• MNISTではニューラル拡張は拡張なしよりわずかに改善（0.975対0.972）。
• ニューラル拡張は正則化として機能し、過学習の抑制に役立つ可能性があるが、改善はデータセットとアーキテクチャに依存する。