[論文レビュー] DADA: Deep Adversarial Data Augmentation for Extremely Low Data Regime Classification

Xiaofeng Zhang, Zhangyang Wang+2 more|arXiv (Cornell University)|Aug 29, 2018

Generative Adversarial Networks and Image Synthesis参考文献 43被引用数 7

ひとこと要約

DADAは、極めて少ないデータ環境下で意味的に意味のある多様な合成サンプルを生成するクラス条件付き教師ありGANを訓練するための深層敵対的データ拡張フレームワークを提案する。実データと拡張データの両方の意思決定境界を一致させるために新規の2k損失を導入することで、CIFAR、KDEF、BCI、CBIS-DDSMデータセットにおいて、従来の拡張法やGANベースのベースラインを上回り、ラベル付きデータのみを用いた画像分類およびEEG分類における一般化性能を顕著に向上させる。

ABSTRACT

Deep learning has revolutionized the performance of classification, but meanwhile demands sufficient labeled data for training. Given insufficient data, while many techniques have been developed to help combat overfitting, the challenge remains if one tries to train deep networks, especially in the ill-posed extremely low data regimes: only a small set of labeled data are available, and nothing -- including unlabeled data -- else. Such regimes arise from practical situations where not only data labeling but also data collection itself is expensive. We propose a deep adversarial data augmentation (DADA) technique to address the problem, in which we elaborately formulate data augmentation as a problem of training a class-conditional and supervised generative adversarial network (GAN). Specifically, a new discriminator loss is proposed to fit the goal of data augmentation, through which both real and augmented samples are enforced to contribute to and be consistent in finding the decision boundaries. Tailored training techniques are developed accordingly. To quantitatively validate its effectiveness, we first perform extensive simulations to show that DADA substantially outperforms both traditional data augmentation and a few GAN-based options. We then extend experiments to three real-world small labeled datasets where existing data augmentation and/or transfer learning strategies are either less effective or infeasible. All results endorse the superior capability of DADA in enhancing the generalization ability of deep networks trained in practical extremely low data regimes. Source code is available at https://github.com/SchafferZhang/DADA.

研究の動機と目的

• ラベル付きサンプルが非常に少ない状況で、ラベルなしデータや類似するデータセットにアクセスできない場合に、ディープな分類器をどのように訓練するかという課題に取り組むこと。
• ドメイン固有の事前知識やラベルなしデータに依存しない、学習ベースでクラス条件付きかつ完全に教師ありのデータ拡張法を開発すること。
• 実データの意思決定境界と整合する多様で意味的に意味のある拡張サンプルを生成することで、極めて少ないデータ環境下でのモデル一般化性能を向上させること。
• 合成ベンチマークおよび実世界の低データ応用、特に医療画像およびEEG信号分類を含む、DADAの有効性を検証すること。

提案手法

• 生成器がクラス条件付きの拡張サンプルを生成し、識別器が本物と偽物のサンプルを区別する、教師ありGAN訓練問題としてデータ拡張を定式化する。
• 識別器に新たな2k損失関数を導入し、本物画像および生成された拡張サンプルをkクラスに分類させ、本物データと偽物データの両方の意思決定境界の一貫性を強制する。
• 分類器と生成器をエンドツーエンドで同時に訓練し、分類精度と拡張サンプルの品質の両方を最適化する。
• 分類器および生成器に標準的なCNNアーキテクチャを用い、EEG信号などの非画像データを時間的・周波数的次元を持つ2次元「画像」として扱うことで、非画像データに対応する。
• Tandaとの公平な比較のため、DADA_augmentedベースラインでのみ最小限の従来的拡張（回転、ズーム、コントラスト）を適用するが、DADA自体はラベル付きデータからのみ拡張を学習する。
• EEG信号を2次元テンソルとして再解釈し、画像タスクと同様のモデルアーキテクチャを用いることで、非画像データへのフレームワークの適応を図る。

実験結果

リサーチクエスチョン

• RQ1 完全に教師ありでクラス条件付きのGANベースのデータ拡張法が、極めて少ないデータ環境下で従来の拡張法やGANベースのベースラインを上回ることができるか？
• RQ2 本物データと拡張データの間で意思決定境界の一貫性を強制する本研究の2k損失関数は、標準的なk+1 GAN損失よりも一般化性能を向上させるか？
• RQ3 ラベルなしデータや類似ドメインからの転送可能なデータが一切ない状況でも、DADAはディープネットワークの性能を効果的に向上させることができるか？
• RQ4 KDEF（顔の表情）、BCI コンペティションIV（EEG信号）、CBIS-DDSM（マンモグラフィ）といった実世界の低データセットにおいて、DADAはどのように性能を発揮するか？
• RQ5 視覚的に不自然に見える拡張サンプルであっても、DADAのデータ生成が意思決定境界の質にどのような影響を与えるか？

主な発見

• CIFAR-10とCIFAR-100でラベル付きサンプルがそれぞれ100個しかない状況でも、DADAはトップ1正解率85.6%および60.3%を達成し、従来の拡張法やGANベースのベースラインを顕著に上回った。
• 顔の表情認識のためのKDEFデータセットでは、DADAは平均正解率79.3%を達成し、最良のベースライン（CNN-SAE）を1.7ポイント上回った。
• EEG信号分類のためのBCI コンペティションIVデータセットでは、9名の被験者に対して平均正解率79.3%を達成し、CNN-SAEベースラインを1.7ポイント上回った。
• 医療画像分野のCBIS-DDSMデータセットでは、DADAは61.96%の正解率を達成し、Tandaの平均場（59.90%）およびLSTM（62.70%）の変種を上回った。DADA_augmentedは最小限の従来的拡張を用いて65.49%の正解率を達成した。
• 拡張サンプルの視覚的検査から、DADAはしばしば非自然なが、意思決定境界に最適化されたサンプルを生成することが判明し、識別能を向上させる特徴的なインダクティブバイアスを有していると考えられる。
• アブレーションスタディにより、2k損失が極めて重要であることが確認された。この損失を除去すると性能が著しく低下し、本物データと拡張データの意思決定境界を一致させる役割を果たしていることが示された。