[論文レビュー] MSG-GAN: Multi-Scale Gradients GAN for more stable and synchronized multi-scale image synthesis

Animesh Karnewar, Raghu Sesha Iyengar|arXiv (Cornell University)|Mar 14, 2019

Image Processing Techniques and Applications被引用数 8

ひとこと要約

MSG-GAN は、複数の特徴スケールにわたり判別器から生成器への勾配伝播を可能にするマルチスケール勾配機構を導入することで、GAN の学習を安定化させ、ハイパーパramータのチューニングなしに多様なデータセットやアーキテクチャで学習の安定性と画像品質を著しく向上させます。固定されたハイパーパrameterを用いて一貫した収束を達成し、最先端の性能を実現します。

ABSTRACT

While Generative Adversarial Networks (GANs) have seen huge successes in image synthesis tasks, they are notoriously difficult to adapt to different datasets, in part due to instability during training and sensitivity to hyperparameters. One commonly accepted reason for this instability is that gradients passing from the discriminator to the generator become uninformative when there isn't enough overlap in the supports of the real and fake distributions. In this work, we propose the Multi-Scale Gradient Generative Adversarial Network (MSG-GAN), a simple but effective technique for addressing this by allowing the flow of gradients from the discriminator to the generator at multiple scales. This technique provides a stable approach for high resolution image synthesis, and serves as an alternative to the commonly used progressive growing technique. We show that MSG-GAN converges stably on a variety of image datasets of different sizes, resolutions and domains, as well as different types of loss functions and architectures, all with the same set of fixed hyperparameters. When compared to state-of-the-art GANs, our approach matches or exceeds the performance in most of the cases we tried.

研究の動機と目的

• 実際のデータと偽のデータの分布の重複が低い場合に顕著に現れる GAN 学習の不安定さとハイパーパramータへの感受性を解消すること。
• 複数スケールでの勾配バックプロパゲーションを可能にすることで、判別器から生成器への勾配伝播を改善すること。
• 高解像度画像合成のためのプログレッシブグrowingの代替として安定した手法を提供すること。
• 固定されたハイパーパramータを用いて、多様なデータセット、損失関数、ネットワークアーキテクチャにおいて一貫した学習収束を達成すること。

提案手法

• 実画像と生成画像の両方から複数の解像度で特徴量を抽出することで、マルチスケール勾配計算を導入する。
• 複数スケールで判別器を適用し、各スケールの特徴マップを通じて生成器への勾配が戻るようにする。
• 全スケールにわたる adversarial loss を集約するマルチスケール損失を用いることで、勾配信号の多様性を向上させる。
• 段階的に解像度を上げるプログレッシブなトレーニングスケジュールを採用するが、各段階で全スケールにわたり勾配伝播を維持する。
• 一貫したマルチスケール監視により、勾配の消失や情報のない勾配を防ぎ、安定した学習を確保する。
• ハイパーパramータの再チューニングを必要とせず、多様なアーキテクチャや損失関数をサポートする。

実験結果

リサーチクエスチョン

• RQ1 マルチスケール勾配伝播は、多様なデータセットやアーキテクチャにおける GAN の学習安定性を向上させることができるか？
• RQ2 標準的な GAN と比較して、複数スケールにわたり勾配信号を維持することで、ハイパーパラメータへの感受性が低下するか？
• RQ3 プログレッシブグrowingを用いず、広範なハイパーパラメータチューニングなしに、MSG-GAN は最先端の性能に達するか、それを上回るか？
• RQ4 マルチスケール勾配バックプロパゲーションは、高解像度画像の品質と多様性にどのように影響を与えるか？
• RQ5 提案手法は、損失関数やネットワークアーキテクチャの変化に対して頑健であるか？

主な発見

• MSG-GAN は、サイズや解像度、ドメインが異なる多様なデータセットにおいて、安定した学習収束を達成する。
• 異なるアーキテクチャや損失関数においても、同じ固定されたハイパーパラメータで一貫したパフォーマンスを維持する。
• 全テストベンチマークで、画像の品質と忠実度において最先端の GAN と同等またはそれを上回る。
• マルチスケール勾配機構は、実際の分布と偽の分布の重複が低い場合の情報のない勾配を効果的に軽減する。
• ほとんどの場合でプログレッシブグrowingの必要性を排除しながらも、高解像度画像合成を可能にする。
• アーキテクチャや損失関数の変化に対して頑健であることを示し、一般化能力の高さを強調する。