[論文レビュー] Data Augmentation Generative Adversarial Networks

Antreas Antoniou, Amos Storkey+1 more|arXiv (Cornell University)|Nov 12, 2017

Domain Adaptation and Few-Shot Learning参考文献 20被引用数 806

ひとこと要約

DAGAN は条件付き GAN を用いてソースドメインから同一クラス内のデータ拡張を生成することを学習し、低データのターゲットドメインの性能を改善して、純粋な分類器と少数ショット学習法を向上させる。Omniglot、EMNIST、VGG-Face で顕著な精度向上を実証した。

ABSTRACT

Effective training of neural networks requires much data. In the low-data regime, parameters are underdetermined, and learnt networks generalise poorly. Data Augmentation alleviates this by using existing data more effectively. However standard data augmentation produces only limited plausible alternative data. Given there is potential to generate a much broader set of augmentations, we design and train a generative model to do data augmentation. The model, based on image conditional Generative Adversarial Networks, takes data from a source domain and learns to take any data item and generalise it to generate other within-class data items. As this generative process does not depend on the classes themselves, it can be applied to novel unseen classes of data. We show that a Data Augmentation Generative Adversarial Network (DAGAN) augments standard vanilla classifiers well. We also show a DAGAN can enhance few-shot learning systems such as Matching Networks. We demonstrate these approaches on Omniglot, on EMNIST having learnt the DAGAN on Omniglot, and VGG-Face data. In our experiments we can see over 13% increase in accuracy in the low-data regime experiments in Omniglot (from 69% to 82%), EMNIST (73.9% to 76%) and VGG-Face (4.5% to 12%); in Matching Networks for Omniglot we observe an increase of 0.5% (from 96.9% to 97.4%) and an increase of 1.8% in EMNIST (from 59.5% to 61.3%).

研究の動機と目的

• 低データ領域での一般化を改善するために、より豊かなデータ拡張戦略を学習する。
• ソースドメインからクラス間・同一クラス内の拡張を学習するデータ拡張 GAN（DAGAN）を提案する。
• DAGAN の拡張が純粋な分類器と少数ショット学習システムを改善することを示す。
• Omniglot から EMNIST および VGG-Face データセットへ拡張を転送することで、ドメイン横断の適用性を示す。

提案手法

• UNet/ResNet スタイルのジェネレータ（UResNet）と DenseNet ディスクリミネータを組み合わせた DAGAN アーキテクチャを導入する。
• エンコーダー g(x) を用いて表現 r を取得し、潜在 z ~ N(0,I) を連結してデコードし、拡張画像 x = f(z,r) を生成する。
• 同一クラスの実データ対を GAN が生成した拡張と比較する改善版 Wasserstein GAN 目的で、ソースドメインで DAGAN を訓練する。
• 識別器に元の入力 x を提供して、クラスラベルに依存せずクロスカテゴリの一般化可能な拡張を学習させる。
• 実データと DAGAN 拡張を用いて DenseNet 分類器を訓練し、リアル/フェイクラベルを用いてネットワークが真データと生成データを重みづけするよう導く。

実験結果

リサーチクエスチョン

• RQ1 学習済みデータ拡張モデルは、見たことのないクラスに対して低データ regime で一般化できるか。
• RQ2 DAGAN 生成拡張は、さまざまなデータセットで純粋な分類と少数ショット学習設定の性能を改善するか。
• RQ3 拡張戦略のメタ学習は、標準拡張や他のメタ学習法と比較してワンショット学習に有益か。
• RQ4 ソースドメインで学習した拡張は、データセットシフトが大きいターゲットドメインへ効果的に転送できるか。

主な発見

実験ID	クラスあたりのサンプル数	テスト精度
Omni_5_Standard	5	0.689904
Omni_5_DAGAN_Augmented	5	0.821314
Omni_10_Standard	10	0.794071
Omni_10_DAGAN_Augmented	10	0.862179
Omni_15_Standard	15	0.819712
Omni_15_DAGAN_Augmented	15	0.874199
EMNIST_Standard	15	0.739353
EMNIST_DAGAN_Augmented	15	0.760701
EMNIST_Standard	25	0.783539
EMNIST_DAGAN_Augmented	25	0.802598
EMNIST_Standard	50	0.815055
EMNIST_DAGAN_Augmented	50	0.827832
EMNIST_Standard	100	0.837787
EMNIST_DAGAN_Augmented	100	0.848009
VGG-Face_Standard	5	0.0446948
VGG-Face_DAGAN_Augmented	5	0.125969
VGG-Face_Standard	15	0.39329
VGG-Face_DAGAN_Augmented	15	0.429385
VGG-Face_Standard	25	0.579942
VGG-Face_DAGAN_Augmented	25	0.584666

• DAGAN 拡張は、すべてのターゲットドメイン実験で純粋な分類器の精度を向上させる。
• Omniglot: 5 サンプル per クラスで標準の 69.0% から DAGAN 拡張の 82.1% へ向上。
• EMNIST: 15 サンプル per クラスで標準の 73.9% から DAGAN 拡張の 76.1% へ、より多くのサンプルで最大 0. の増加。
• VGG-Face: 5 サンプル per クラスで標準の 4.5% から DAGAN 拡張の 12.0% へ。
• ワンショット近似ネットワークでは、Omniglot が 96.9% から 97.4%（+0.5%）、EMNIST が 59.5% から 61.3%（+1.8%）といった改善をもたらす。
• Table 1 は、Omniglot、EMNIST、VGG-Face データセット全体で DAGAN 拡張がテスト精度を改善した純粋な分類器の結果を示す。
• Table 2 は Omniglot のさまざまなワンショット学習法と比較した DAGAN 拡張結果を示し、競争力のある向上を示す。