[論文レビュー] Effective Data Augmentation with Multi-Domain Learning GANs

Shin’ya Yamaguchi, Sekitoshi Kanai+1 more|arXiv (Cornell University)|Dec 25, 2019

Image Processing Techniques and Applications参考文献 33被引用数 4

ひとこと要約

本論文は、ターゲットドメインと外部の外部ドメインを同時に学習することで、低リソースデータセットにおけるモデルの汎化性能を向上させる、GANベースのマルチドメイン学習データ拡張手法であるドメインフュージョン（DF）を提案する。共有されたGANパラメータを活用することで、高精細で多様なサンプルを生成し、従来のデータ拡張法やファインチューニングされたGANよりも優れた性能を発揮し、CIFAR-100、FGVC-Aircraft、インDoorシーン認識の各タスクで、ターゲットデータがたった5,000枚の状況でも最先端の精度を達成した。

ABSTRACT

For deep learning applications, the massive data development (e.g., collecting, labeling), which is an essential process in building practical applications, still incurs seriously high costs. In this work, we propose an effective data augmentation method based on generative adversarial networks (GANs), called Domain Fusion. Our key idea is to import the knowledge contained in an outer dataset to a target model by using a multi-domain learning GAN. The multi-domain learning GAN simultaneously learns the outer and target dataset and generates new samples for the target tasks. The simultaneous learning process makes GANs generate the target samples with high fidelity and variety. As a result, we can obtain accurate models for the target tasks by using these generated samples even if we only have an extremely low volume target dataset. We experimentally evaluate the advantages of Domain Fusion in image classification tasks on 3 target datasets: CIFAR-100, FGVC-Aircraft, and Indoor Scene Recognition. When trained on each target dataset reduced the samples to 5,000 images, Domain Fusion achieves better classification accuracy than the data augmentation using fine-tuned GANs. Furthermore, we show that Domain Fusion improves the quality of generated samples, and the improvements can contribute to higher accuracy.

研究の動機と目的

• 深層学習におけるデータ収集およびアノテーションの高コストとスケーラビリティの限界を解決すること。
• 従来のデータ拡張法では、低リソースデータセットから真正に未知または多様なサンプルを生成できないという制限を克服すること。
• GANベースの生成を用いて外部の外部ドメインからの知識を活用することで、小規模なターゲットデータセットにおけるモデルの汎化性能を向上させること。
• 最小限のターゲットデータでも高精細で多様なサンプルを生成する手法を開発し、低品質なGAN出力による性能低下を回避すること。
• 外部ドメイン選択とサンプル品質が下流分類性能に与える影響を体系的に評価すること。

提案手法

• ターゲットデータセットと外部の外部データセットの両方を同時に学習する条件付きGANフレームワーク「ドメインフュージョン（DF）」を提案し、現実的でクラス条件付きのサンプルを生成する。
• 共有パラメータを有するマルチドメイン学習GANを採用し、トレーニング中に外部ドメインからターゲットドメインへ知識を転送する。
• ドメインの関連性とサンプルの多様性に基づいて、最も関連性の高い外部データセットを選択するための新規指標（FIDとマルチスケール構造的類似性（MS-SSIM）の組み合わせ）を導入する。
• 条件付きGANに拡張されたディスクライマージェクトサンプリング（DRS）を採用し、低品質で現実的でない生成サンプルをフィルタリングする。
• DFが生成するサンプルと従来のデータ拡張法を組み合わせることで、モデルの精度をさらに向上させる。
• 条件付きGANを用いてクラス固有のサンプルを生成することで、生成データがターゲットタスクの意味論と整合することを保証する。

実験結果

リサーチクエスチョン

• RQ1 トレーニングデータが極めて限られた状況下で、マルチドメイン学習GANはファインチューニングされたGANよりも高品質で多様なサンプルを生成できるか？
• RQ2 外部データセットの選択が、低データ環境におけるデータ拡張性能にどのように影響するか？
• RQ3 生成サンプルの品質と下流分類精度との相関はどの程度強いのか？
• RQ4 DFと従来のデータ拡張法を組み合わせることで、従来の拡張法単体よりも高い性能が得られるか？
• RQ5 マルチドメイン学習は、ファインチューニングベースのアプローチに比べて、外部ドメインからの知識をよりよく保持できるか？

主な発見

• CIFAR-100でトレーニング画像がたった5,000枚の状況でも、ドメインフュージョンは従来のデータ拡張法やファインチューニングGAN（TGANs）よりも高い分類精度を達成した。
• 食品容器と家庭用家具のスーパークラスにおいて、DFはそれぞれ1.25および1.21の向上率を示し、TGANやCGANを上回った。
• 人物クラスにおいて、Pascal-VOCを外部データセットとして使用したDFは1.20の向上率を示し、TGANの1.07を大きく上回り、より優れた知識転送が実現した。
• 人物クラスでは、DFがFID（125.6）を達成し、TGAN（FID: 135.5）よりも低く、インセプションスコア（IS: 3.85）もTGAN（IS: 3.29）を上回り、サンプル品質の高さが裏付けられた。
• DFと従来のデータ拡張法の組み合わせは、従来の拡張法単体よりも優れた性能を示し、相補的な利点が確認された。
• 本研究では、生成サンプルの品質（FIDとISで測定）と得られる分類精度との強い相関関係が確認された。