[論文レビュー] Energy-relaxed Wasserstein GANs(EnergyWGAN): Towards More Stable and High Resolution Image Generation.

Jiqing Wu, Zhiwu Huang+2 more|arXiv (Cornell University)|Dec 4, 2017

Generative Adversarial Networks and Image Synthesis参考文献 37被引用数 7

ひとこと要約

本稿では、対称的分散目的関数を用いてWGANを一般化することで、固定されたk-Lipschitz制約の必要性を排除し、自然なGANスタッキングを可能にする、エネルギー緩和型Wasserstein GANフレームワーク「EnergyWGAN」を提案する。これにより、訓練の安定性が向上し、高解像度画像生成が実現可能となる。標準ベンチマークおよび実世界の高解像度データセットにおいて、最先端の結果を達成する。

ABSTRACT

Recently, generative adversarial networks (GANs) have achieved great impacts on a broad number of applications, including low resolution(LR) image synthesis. However, they suffer from unstable training especially when image resolution increases. To overcome this bottleneck, this paper generalizes the state-of-the-art Wasserstein GANs (WGANs) to an energy-relaxed objective which enables more stable and higher-resolution image generation. The benefits of this generalization can be summarized in three main points. Firstly, the proposed EnergyWGAN objective guarantees a valid symmetric divergence serving as a more rigorous and meaningful quantitative measure. Secondly, EnergyWGAN is capable of searching a more faithful solution space than the original WGANs without fixing a specific $k$-Lipschitz constraint. Finally, the proposed EnergyWGAN offers a natural way of stacking GANs for high resolution image generation. In our experiments we not only demonstrate the stable training ability of the proposed EnergyWGAN and its better image generation results on standard benchmark datasets, but also show the advantages over the state-of-the-art GANs on a real-world high resolution image dataset.

研究の動機と目的

• 高解像度画像において特に顕著なGANの訓練不安定性を解消すること。
• 標準WGANに内在する固定k-Lipschitz制約の制限を克服し、解釈空間の忠実度を向上させること。
• GAN性能の定量的評価を向上させる、より厳密で対称的な分散測度を確立すること。
• 複数のGANを階層的にスタックできる自然なメカニズムを導入し、スケーラブルな高解像度画像生成を実現すること。
• 標準ベンチマークおよび実世界の高解像度データセットにおいて、優れた性能を示すこと。

提案手法

• 厳密なk-Lipschitz制約に代わり、より柔軟なエネルギーベース正則化を導入することで、WGANの一般化を図るエネルギー緩和型目的関数を提案する。
• エネルギー緩和型目的関数から導出される対称的分散測度を定義し、数学的厳密性と解釈可能性の向上を実現する。
• 固定されたリプシッツ定数を強制しないことで、識別器が真のデータ分布のより忠実な近似を学習できる訓練手順を設計する。
• 各段階でより高解像度の特徴を生成する階層的な方法で、複数のGANをスタック可能に設計する。これにより、スケーラブルな高解像度合成が可能となる。
• 最適化中の分布整合性を監視するため、対称的分散を信頼できる訓練指標として活用する。
• エネルギー緩和型目的関数をGAN損失関数に統合し、訓練の安定性を向上させ、サンプル品質を向上させる。

実験結果

リサーチクエスチョン

• RQ1 固定k-Lipschitz制約を強制しないエネルギー緩和型目的関数は、GANの訓練安定性を向上させ得るか？
• RQ2 提案された対称的分散測度は、GAN性能評価のためのより意味的で厳密な指標を提供するか？
• RQ3 EnergyWGANフレームワークは、高解像度画像生成のためのGANの自然なスタッキングを可能にするか？
• RQ4 実世界の高解像度データセットにおいて、EnergyWGANは最先端のGANと比較して画像品質および訓練安定性で優れているか？
• RQ5 リプシッツ制約の緩和により、GAN訓練におけるより忠実な解釈空間へのアクセスがどの程度可能になるか？

主な発見

• EnergyWGANは、特に高解像度画像において、標準WGANと比較してより安定した訓練を達成する。
• 提案された対称的分散測度は、従来のWGAN指標よりもより厳密で意味のある定量的測定指標として機能する。
• 特定のk-Lipschitz制約を固定する必要がないため、EnergyWGANはより忠実な解釈空間へのアクセスを可能にする。
• フレームワークは、高解像度画像のスケーラブルで階層的な生成を可能にする自然なGANスタッキングをサポートする。
• CIFAR-10 や CelebA といった標準ベンチマークにおいて、EnergyWGANは優れた画像生成品質を示す。
• 実世界の高解像度画像データセットにおいて、EnergyWGANは訓練安定性およびサンプル忠実度の両面で最先端のGANを上回る性能を発揮する。