[論文レビュー] MSG-GAN: Multi-Scale Gradients for Generative Adversarial Networks

Animesh Karnewar, Oliver Wang|arXiv (Cornell University)|Mar 14, 2019

Generative Adversarial Networks and Image Synthesis参考文献 22被引用数 24

ひとこと要約

MSG-GAN は、複数の解像度レベルで同時に生成器に勾配を伝えることで、GAN の安定した学習を可能にするマルチスケール勾配機構を導入した。この手法は、プログレッシブグrowingに依存せず、固定されたハイパーパrameterを用いて、CelebA-HQ、FFHQ、CIFAR-10 などの多様なデータセットで最先端の FID スコアを達成し、学習の安定性と一般化性能を顕著に向上させた。

ABSTRACT

While Generative Adversarial Networks (GANs) have seen huge successes in image synthesis tasks, they are notoriously difficult to adapt to different datasets, in part due to instability during training and sensitivity to hyperparameters. One commonly accepted reason for this instability is that gradients passing from the discriminator to the generator become uninformative when there isn't enough overlap in the supports of the real and fake distributions. In this work, we propose the Multi-Scale Gradient Generative Adversarial Network (MSG-GAN), a simple but effective technique for addressing this by allowing the flow of gradients from the discriminator to the generator at multiple scales. This technique provides a stable approach for high resolution image synthesis, and serves as an alternative to the commonly used progressive growing technique. We show that MSG-GAN converges stably on a variety of image datasets of different sizes, resolutions and domains, as well as different types of loss functions and architectures, all with the same set of fixed hyperparameters. When compared to state-of-the-art GANs, our approach matches or exceeds the performance in most of the cases we tried.

研究の動機と目的

• 本質的に情報のない勾配が生じる状況（実データと偽データの分布の重複度が低い場合）に起因する GAN 学習の不安定性を解消すること。
• 解像度段階ごとに複雑なスケジューリングとハイパーパramータチューニングを必要とするプログレッシブグrowingの限界を克服すること。
• データセット固有のハイパーパラメータ調整を必要とせず、多様なデータセット、アーキテクチャ、損失関数において、学習の安定性と収束性を向上させること。
• 1つの固定されたハイパーパラメータセットを用いて、1024×1024 解像度の画像生成を一貫して高精度で実現すること。
• 複数のベンチマークデータセットにおいて、学習率の変動や損失関数の選択に頑健であることを実証すること。

提案手法

• 中間生成器層から対応する判別器層へ、異なる解像度レベルでマルチスケールのスキップ接続を導入する。
• 実画像および偽画像の特徴マップを、対応する生成器の活性化ボリュームと連結し、その後に判別器に供給する。
• マルチスケール特徴を統合するための学習可能な結合関数（例：要素ごとの加算、または線形投影付きの連結）を用いる。
• 1つの判別器を、すべての解像度レベルを同時に学習させ、判別器からすべての生成器層へ一括で勾配が流れ込むようにする。
• ProGAN および StyleGAN の両アーキテクチャにこの手法を適用し、異なる生成器および判別器設計と互換性があることを示す。
• すべてのデータセットにわたって統一された学習設定を採用し、データドメインや解像度に関係なく同じハイパーパラメータ（例：固定学習率）を維持する。

実験結果

リサーチクエスチョン

• RQ1 プログレッシブグrowingに依存せずに、マルチスケール勾配伝搬が GAN の学習安定性を向上させられるか？
• RQ2 マルチスケール勾配の導入が、多様なデータセットおよびアーキテクチャにおける FID スコアにどのように影響を与えるか？
• RQ3 MSG-GAN は、学習率や損失関数の種類の変化に対してどの程度頑健であるか？
• RQ4 粗い、中間、細かいスケールの接続が、全体の生成性能にそれぞれどの程度寄与しているか？
• RQ5 StyleGAN で用いられる混合正則化技術を用いなくても、MSG-GAN は競争力のある結果を達成できるか？

主な発見

• MSG-StyleGAN を用いて、1024×1024 解像度の FFHQ データセットで FID スコア 6.46 を達成し、標準の StyleGAN や ProGAN ベースラインを上回った。
• CIFAR-10 において、MSG-ProGAN は広い学習率範囲（0.001 から 0.01）においても一貫したインceptionスコア（約 8.3）を維持し、頑健性を示した。
• アブレーションスタディの結果、粗い、中間、細かいスケールのすべての接続を用いることで FID が最も低く（FFHQ で 8.36）、単一スケールのアブレーションを上回った。
• 結合関数の選択が顕著な影響を与える：MSG-StyleGAN で φ_cat_lin を用いることで FID が 5.80 まで低下し、性能が著しく向上した。
• 同じハイパーパラメータを用いて、CelebA-HQ（11.34）、LSUN Churches、および新たに作成された Indian Celebs データセットでも、最先端または競争力のある FID スコアを達成した。
• 混合正則化をサポートしていないにもかかわらず、MSG-GAN は妥当な混合スタイルの画像を生成でき、マルチスケール勾配によって暗黙的にスタイルの分離が実現されている可能性を示唆した。