[論文レビュー] A Wasserstein GAN model with the total variational regularization

Lijun Zhang, Yujin Zhang+1 more|arXiv (Cornell University)|Dec 3, 2018

Generative Adversarial Networks and Image Synthesis参考文献 14被引用数 6

ひとこと要約

本稿では、勾配ペナルティや重みクリッピングに代わって、評価者ネットワークに1リプシッツ制約を暗黙的に強制するための全変動（TV）正則化を組み込んだワッサーシュタインGAN（TV-WGAN）を提案する。この手法により、多様なアーキテクチャにおいて訓練安定性が向上し、勾配爆発が軽減される。また、画像の多様性と視覚的品質のトレードオフを制御可能なマージン要因を導入しており、GP-WGANより安定性に優れ、マージン値を大きくすることでインセプションスコアが向上する。

ABSTRACT

It is well known that the generative adversarial nets (GANs) are remarkably difficult to train. The recently proposed Wasserstein GAN (WGAN) creates principled research directions towards addressing these issues. But we found in practice that gradient penalty WGANs (GP-WGANs) still suffer from training instability. In this paper, we combine a Total Variational (TV) regularizing term into the WGAN formulation instead of weight clipping or gradient penalty, which implies that the Lipschitz constraint is enforced on the critic network. Our proposed method is more stable at training than GP-WGANs and works well across varied GAN architectures. We also present a method to control the trade-off between image diversity and visual quality. It does not bring any computation burden.

研究の動機と目的

• 勾配ペナルティに基づくWGAN（GP-WGAN）における継続的な訓練不安定性、特に高い学習率や同種のネットワークアーキテクチャ下での問題を解決すること。
• 勾配ペナルティや重みクリッピングに代えて、評価者に全変動（TV）正則化項を導入し、評価者の1リプシッツ制約を暗黙的に強制すること。
• 追加の計算コストなしに、多様なGANアーキテクチャで高い訓練安定性を維持する、シンプルかつ効果的な手法の開発。
• 画像の多様性と視覚的品質のトレードオフを制御可能なマージン要因を導入すること。

提案手法

• 評価者ネットワークに1リプシッツ制約を暗黙的に強制するため、WGANの目的関数にTV正則化項を導入する。
• 評価者の損失関数を次のように変更する：$ L = \mathbb{E}[D(x)] - \mathbb{E}[D(G(z))] + \lambda \cdot \text{TV}(D) $、ここでTV(D)は評価者の出力の空間的変動をペナルティ化する。
• TV正則化は評価者に滑らかさの事前分布を提供し、勾配ノイズへの感受性を低減し、勾配爆発を防止する。
• マージン要因 $ \delta $ をハイパーパrameterとして導入し、TV項の相対的重みを調整することで、生成画像の多様性と品質のトレードオフを制御可能にする。
• DCGANに類似した構造やBEGANに類似した構造を含む、さまざまなGANアーキテクチャと互換性があり、アーキテクチャの変更なしに利用可能である。
• Adam最適化手法を標準的なハイパーパrameterで使用し、追加の計算負荷が生じない。

実験結果

リサーチクエスチョン

• RQ1 全変動正則化は、勾配ペナルティや重みクリッピングに依存せずに、WGANにおける1リプシッツ制約を効果的に強制できるか？
• RQ2 TV正則化は、特に高い学習率や同種のネットワークアーキテクチャ下で、GP-WGANの訓練安定性を向上させるか？
• RQ3 提案手法は、GP-WGANやBEGANと比較して、多様なGANアーキテクチャにおいて、サンプルの品質と多様性を維持または向上させられるか？
• RQ4 マージン要因は、生成画像の多様性と視覚的品質のトレードオフを制御するためにどれほど効果的か？
• RQ5 TV-WGANは、学習率の減衰がないBEGANと比較して、長期にわたる訓練においてモード崩壊を回避できるか？

主な発見

• TV-WGANは、すべてのテストアーキテクチャおよび学習率において、勾配爆発が観測されないなど、GP-WGANと比較して著しく高い訓練安定性を示した。
• インセプションスコアは、δ=0の4.12からδ=10の4.47に上昇し、マージン値を大きくすることで視覚的品質が向上し、ばらつきが減少することが示された。
• TV-WGANはGP-WGAN（3.75）を上回る高いインセプションスコアを達成し、DCGANやBEGANの性能に近づいた。これは、優れたサンプル品質を示している。
• 100エポックの訓練において、TV-WGANはモード崩壊を回避し、高品質な生成を維持したが、学習率の減衰がないBEGANはモード崩壊を示した。
• DCGANに類似した構造やBEGANに類似した構造を含む多様なアーキテクチャにおいて、アーキテクチャの変更なしに一貫した性能を示した。
• マージン要因δにより、多様性と品質のバランスを制御可能なスイッチが提供され、視覚的品質はδの増加に伴い単調に向上した。