[論文レビュー] Face Super-Resolution Through Wasserstein GANs

Zhimin Chen, Yuguang Tong|arXiv (Cornell University)|May 6, 2017

Advanced Image Processing Techniques参考文献 10被引用数 34

ひとこと要約

本稿では、顔画像の超解像にWasserstein GANに勾配ペナルティを適用したWGAN-GPを適用し、さまざまなアーキテクチャにおいて安定した学習が可能であることを示し、勾配ノルムを1に制約する勾配ペナルティにより、単調に減少する識別器損失が得られることで、学習進行状況の信頼できる指標が得られることを示している。Wasserstein距離は、標準GANと比較して、学習収束の評価およびモード崩壊の低減に有効であることが確認された。

ABSTRACT

Generative adversarial networks (GANs) have received a tremendous amount of attention in the past few years, and have inspired applications addressing a wide range of problems. Despite its great potential, GANs are difficult to train. Recently, a series of papers (Arjovsky & Bottou, 2017a; Arjovsky et al. 2017b; and Gulrajani et al. 2017) proposed using Wasserstein distance as the training objective and promised easy, stable GAN training across architectures with minimal hyperparameter tuning. In this paper, we compare the performance of Wasserstein distance with other training objectives on a variety of GAN architectures in the context of single image super-resolution. Our results agree that Wasserstein GAN with gradient penalty (WGAN-GP) provides stable and converging GAN training and that Wasserstein distance is an effective metric to gauge training progress.

研究の動機と目的

• 単一画像顔画像超解像におけるWasserstein GAN (WGAN) およびWGANに勾配ペナルティを適用したWGAN-GPの有効性を体系的に評価すること。
• WGAN-GPが、厳密なアーキテクチャ的制約なしに多様なディープラーニングアーキテクチャにおいて安定した学習を維持できるかどうかを評価すること。
• Wasserstein距離が学習進行状況を監視する信頼できる指標であるという主張を検証すること。
• L1損失の重みが、超解像におけるモデルの頑健性および画像品質に与える影響を調査すること。
• 特に強い再構成制約下でも、WGAN-GPが顔画像生成におけるモード崩壊を軽減するかどうかを検討すること。

提案手法

• 著者らは、標準GAN、重みクリッピングを用いたWGAN、勾配ペナルティを用いたWGAN-GPという3つの目的関数を実装し、学習を実施した。
• これらの目的関数を、DCGAN（畳み込み層）、MLP（全結合層）、バッチ正則化あり・なしのResNet（残差ネットワーク）という3つのアーキテクチャで評価した。
• 生成器損失は、敵対的損失とL1再構成項を組み合わせており、これは真値画像との類似性を強制するために用いられた。
• WGAN-GPにおける識別器損失は、重みクリッピングに代わって、勾配ノルムを1に制約する勾配ペナルティによって正則化された。
• 学習の安定性と収束性は、識別器損失、Wasserstein距離、L1再構成誤差を用いて監視された。
• ランダムなノイズから得られた「選び抜かれていない」サンプルを生成し、潜在空間内の多様性とモード崩壊の程度を評価した。

実験結果

リサーチクエスチョン

• RQ1 WGAN-GPの学習は、顔画像超解像において、標準GANと比較してより安定的かつ収束性の高い学習をもたらすか？
• RQ2 WGAN-GPは、単純なMLPから複雑なResNetまで、多様なアーキテクチャにおいても安定した学習を維持できるか？
• RQ3 Wasserstein距離は学習進行状況と良好に相関しており、ハイパーパramータチューニングや早期停止のための信頼できる指標として機能するか？
• RQ4 L1損失の重みは、生成された超解像画像の頑健性と品質にどのように影響するか？
• RQ5 L1損失によって入力画像に一致するように強制された状況でも、WGAN-GPは標準GANと比較してモード崩壊を軽減するか？

主な発見

• WGAN-GPの学習では、識別器損失が単調かつ安定的に減少し、標準GANで見られるような振動を示さないため、一貫した学習進行が示された。
• すべてのアーキテクチャにおいてWasserstein距離が単調に減少し、それが学習進行状況の指標として有効であることが確認された。
• WGAN-GPは、標準GANや重みクリッピングを用いたWGANと比較して、特にResNetのような複雑なアーキテクチャにおいて、よりシャープで多様性に富んだ顔画像を生成した。
• バッチ正則化を用いないResNetアーキテクチャでも、WGAN-GPは安定した学習を維持したため、アーキテクチャ的制約が軽減されたことが示唆された。
• WGAN-GPは、さまざまなγ値におけるL1損失重みの変動に対してより頑健であり、異なるγ値でも良好な画像品質と一貫性を維持した。
• WGAN-GPから得られた「選び抜かれていない」サンプルは、標準GANと比較して顕著にモード崩壊が少なく、より多様な顔貌や表情を示した。