[論文レビュー] Towards Good Practices for Data Augmentation in GAN Training.

Ngoc-Trung Tran, Viet-Hung Tran+3 more|arXiv (Cornell University)|Jun 9, 2020

Generative Adversarial Networks and Image Synthesis参考文献 2被引用数 26

ひとこと要約

本稿では、GAN が元のデータの分布を学習するのではなく、拡張されたデータの分布を学習してしまうリスクを回避するための原理的枠組みである DAG（Data Augmentation Optimized for GAN）を提案する。理論的保証を通じて GAN の学習を元のデータ分布に一致させることで、生成器および判別器の学習を向上させ、複数の GAN モデルで最先端の FID スコアを達成する。

ABSTRACT

Recent successes in Generative Adversarial Networks (GAN) have affirmed the importance of using more data in GAN training. Yet it is expensive to collect data in many domains such as medical applications. Data Augmentation (DA) has been applied in these applications. In this work, we first argue that the classical DA approach could mislead the generator to learn the distribution of the augmented data, which could be different from that of the original data. We then propose a principled framework, termed Data Augmentation Optimized for GAN (DAG), to enable the use of augmented data in GAN training to improve the learning of the original distribution. We provide theoretical analysis to show that using our proposed DAG aligns with the original GAN in minimizing the JS divergence w.r.t. the original distribution and it leverages the augmented data to improve the learnings of discriminator and generator. The experiments show that DAG improves various GAN models. Furthermore, when DAG is used in some GAN models, the system establishes state-of-the-art Frechet Inception Distance (FID) scores.

研究の動機と目的

• 従来のデータ拡張が、GAN が元のデータの分布ではなく拡張されたデータの分布を学習してしまうリスクに対処すること。
• 拡張されたデータを効果的に活用しつつ、元のデータ分布への整合性を保つ理論的根拠に基づいた手法を開発すること。
• 分布のシフトを引き起こさずに、拡張されたデータを活用することで生成器および判別器の性能を向上させること。
• さまざまな GAN アーキテクチャで、Frechet Inception Distance (FID) で測定される生成品質の最先端のスコアを達成すること。

提案手法

• 生成器が拡張データを使用しても元のデータ分布を学習できるように、GAN 学習目的関数を変更する DGA フレームワークを提案する。
• 理論的分析により、DAG が元のデータ分布に関して Jensen-Shannon (JS) 発散を最小化することを示し、標準的な GAN 学習と整合性を保つ。
• データ拡張を判別器の本物データサンプリングプロセスに統合し、生成器が拡張データで訓練される一方で、元の分布を最適化するようにする。
• 損失関数に再重み付け機構を導入することで、データ拡張によって生じる分布シフトを補償し、元のデータの統計的性質を維持する。
• アーキテクチャの変更なしに、StyleGAN や BigGAN などのさまざまな GAN モデルに DAG を適用可能であり、即座に統合可能な改善が可能である。

実験結果

リサーチクエスチョン

• RQ1 GAN 学習におけるデータ拡張は、生成器が元のデータ分布ではなく拡張データの分布を学習してしまうような分布の不整合を引き起こす可能性があるか？
• RQ2 データ拡張をどのように GAN 学習に統合すれば、元のデータ分布の学習を維持できるか？
• RQ3 提案された DAG フレームワークは、標準的な GAN 目的関数と理論的に整合性を保ちつつ、性能を向上させることができるか？
• RQ4 DAG フレームワークを拡張データに適用した場合、多様な GAN アーキテクチャで最先端の FID スコアを達成できるか？

主な発見

• DAG は、拡張データを使用しても、元のデータ分布に関する JS 発散を最小化するように GAN 学習を保証する。
• このフレームワークにより、分布のずれを引き起こさずに、生成器および判別器の学習が効果的に向上する。
• 実験の結果、DAG をデータ拡張と組み合わせた場合、複数の GAN モデルで一貫した性能向上が得られる。
• 特定の GAN モデルに適用した場合、DAG は最先端の FID スコアを達成し、生成品質の向上における有効性を示している。