[論文レビュー] MSG-GAN: Multi-Scale Gradient GAN for Stable Image Synthesis.

Animesh Karnewar, Oliver Wang+1 more|arXiv (Cornell University)|Mar 14, 2019

Generative Adversarial Networks and Image Synthesis被引用数 41

ひとこと要約

MSG-GAN は、複数スケールにわたる識別器から生成器への情報豊富な勾配伝播を可能にするマルチスケール勾配機構を導入することで、GAN の学習を安定化させる。識別器で異なる解像度の特徴を連結することで、学習安定性が向上し、高精細で同期的なマルチスケール画像合成が可能となり、CIFAR10、Oxford102 Flowers、CelebA-HQ において 1024×1024 解像度で最先端の結果を達成した。

ABSTRACT

While Generative Adversarial Networks (GANs) have seen huge successes in image synthesis tasks, they are notoriously difficult to use, in part due to instability during training. One commonly accepted reason for this instability is that gradients passing from the discriminator to the generator can quickly become uninformative, due to a learning imbalance during training. In this work, we propose the Multi-Scale Gradient Generative Adversarial Network (MSG-GAN), a simple but effective technique for addressing this problem which allows the flow of gradients from the discriminator to the generator at multiple scales. This technique provides a stable approach for generating synchronized multi-scale images. We present a very intuitive implementation of the mathematical MSG-GAN framework which uses the concatenation operation in the discriminator computations. We empirically validate the effect of our MSG-GAN approach through experiments on the CIFAR10 and Oxford102 flowers datasets and compare it with other relevant techniques which perform multi-scale image synthesis. In addition, we also provide details of our experiment on CelebA-HQ dataset for synthesizing 1024 x 1024 high resolution images.

研究の動機と目的

• 識別器から生成器への情報のない勾配が引き起こす GAN 学習の不安定性を解消すること。
• GAN 学習中に複数スケールにわたる勾配伝播を改善し、特徴学習とモデル安定性を向上させること。
• 一貫したマルチスケールの監視を維持することで、同期的かつ高解像度の画像合成を可能にすること。
• 複雑な修正を加えずに学習ダイナミクスを改善する、シンプルで効果的なアーキテクチャを提供すること。

提案手法

• 識別器は複数スケールで特徴を計算し、それらを連結して統合的に識別する。これによりマルチスケールの勾配信号が保持される。
• 連結された特徴を通じて逆誤差伝搬が行われ、生成器がすべてのスケールで情報豊かな信号を受信できる。
• 生成器は、複数の解像度で同時に本物の画像と一致する画像を生成するように訓練される。
• スケール間の特徴一貫性を維持するために、標準的な畳み込み層とスキップ接続を用いる。
• 追加の損失項やアーキテクチャの複雑さを避け、特徴の連結による勾配伝播に依存する。
• エンドツーエンドでフレームワークが適用され、高解像度画像合成のための安定な学習が可能になる。

実験結果

リサーチクエスチョン

• RQ1 マルチスケールの勾配伝播は、画像合成における GAN の学習安定性を向上させることができるか？
• RQ2 識別器内でマルチスケール特徴を連結することで、勾配信号の質と学習ダイナミクスにどのような影響を与えるか？
• RQ3 MSG-GAN は、例えば 1024×1024 解像度の高解像度画像を、向上した忠実度と一貫性で生成できるか？
• RQ4 ベンチマークデータセットにおいて、FID スコアと視覚的品質の観点から、既存のマルチスケール GAN と比べてどの程度優れているか？
• RQ5 CIFAR10、Oxford102 Flowers、CelebA-HQ といった多様なデータセットにおいて、提案手法は性能を維持できるか？

主な発見

• MSG-GAN は CIFAR10 および Oxford102 Flowers で最先端の FID スコアを達成し、画像品質と学習安定性の向上を示した。
• モデルは CelebA-HQ から 1024×1024 解像度の画像を高忠実度かつ最小限のアーチファクトで効果的に合成した。
• 連結されたマルチスケール特徴の使用により、勾配伝播が著しく改善され、標準 GAN と比較して学習の不安定性が低減した。
• 定量的指標と定性的な画像品質の両面で、ベースライン GAN や他のマルチスケール手法を上回った。
• 追加の損失項やハイパーパramータチューニングを必要とせず、すべてのスケールで安定した学習が維持された。