[論文レビュー] Orthogonal Wasserstein GANs

Jan Müller, Reinhard Klein+1 more|arXiv (Cornell University)|Nov 29, 2019

Generative Adversarial Networks and Image Synthesis被引用数 6

ひとこと要約

本稿では、Wasserstein GANにおけるLipschitz制約を満たすために勾配ノルム正則化の代わりに重み行列の直交化を導入することで、識別器の一般化性能と生成画像の忠実度を向上させることを提案する。この手法は直交化技術を用いて識別器重みのスペクトル分布をより均等にし、より良いモードカバレッジと高品質なサンプルを実現する。合成データおよびCIFAR-10データセットにおける実証的検証により、Fréchet Inception DistanceとInception Scoreの両面で優れた性能を示した。

ABSTRACT

Wasserstein-GANs have been introduced to address the deficiencies of generative adversarial networks (GANs) regarding the problems of vanishing gradients and mode collapse during the training, leading to improved convergence behaviour and improved image quality. However, Wasserstein-GANs require the discriminator to be Lipschitz continuous. In current state-of-the-art Wasserstein-GANs this constraint is enforced via gradient norm regularization. In this paper, we demonstrate that this regularization does not encourage a broad distribution of spectral-values in the discriminator weights, hence resulting in less fidelity in the learned distribution. We therefore investigate the possibility of substituting this Lipschitz constraint with an orthogonality constraint on the weight matrices. We compare three different weight orthogonalization techniques with regards to their convergence properties, their ability to ensure the Lipschitz condition and the achieved quality of the learned distribution. In addition, we provide a comparison to Wasserstein-GANs trained with current state-of-the-art methods, where we demonstrate the potential of solely using orthogonality-based regularization. In this context, we propose an improved training procedure for Wasserstein-GANs which utilizes orthogonalization to further increase its generalization capability. Finally, we provide a novel metric to evaluate the generalization capabilities of the discriminators of different Wasserstein-GANs.

研究の動機と目的

• 勾配ノルム正則化が識別器重みの広いスペクトル分布を促進できないというWasserstein GANの限界を解消すること。
• 重み行列に直交制約を課すことで、勾配ノルム正則化よりもLipschitz条件をよりよく満たすかを調査すること。
• より均一な特異値分布を促進することで、WGANにおける学習済みデータ分布の一般化能力と忠実度を向上させること。
• 近似されたWasserstein距離に基づく新たな識別器一般化評価指標を導入すること。

提案手法

• 勾配ノルム正則化の代わりに、ハード制約、ソフト制約、反復的SVDに基づく直交化という3つの異なる重み直交化手法を採用する。
• 勾配ペナルティや重みクリッピングの代わりに、直交重み行列によるLipschitz連続性の維持を行う。
• 標準的なWGANの目的関数を維持しつつ、重みを直交化した識別器を学習し、学習を安定化させるために修正された訓練手順を採用する。
• Wasserstein距離の近似に基づく新しい評価指標を導入し、異なる手法間での識別器一般化性能を比較する。
• 訓練の安定性を向上させるために、識別器アーキテクチャに層正則化と残差接続を適用する。
• 同じ計算リソース制約下で、合成データおよびCIFAR-10データセット上で、提案手法を最先端のWGAN変種（WGAN-GP、WGAN-TTUR）と比較する。

実験結果

リサーチクエスチョン

• RQ1 重み行列の直交化は、勾配ノルム正則化よりもWasserstein GANにおけるLipschitz制約をより頑健に満たすことができるか？
• RQ2 直交化は識別器重みのスペクトル分布にどのような影響を及ぼし、それが学習済みデータ分布の品質にどのように関連するか？
• RQ3 勾配ノルム正則化を直交化に置き換えることで、生成サンプルの一般化性能とモードカバレッジが向上するか？
• RQ4 Fréchet Inception Distance、Inception Score、および訓練効率の観点から、提案手法はWGAN-GPおよびWGAN-TTURに比べて優れているか？
• RQ5 近似されたWasserstein距離に基づく新しい指標は、識別器一般化性能の順位付けを効果的に行えるか？

主な発見

• 提案手法はCIFAR-10で11.8という最低のFréchet Inception Distance（FID）を達成し、WGAN-GP（12.3）およびWGAN-TTUR（13.1）を上回った。
• 提案手法はCIFAR-10で8.72という最高のInception Scoreを達成し、WGAN-GP（8.51）およびWGAN-TTUR（8.43）を上回った。
• 提案手法は新しい指標において最高の一般化スコア（s = 1.17）を示し、WGAN-GP（s = 0.83）を著しく上回った。
• 提案手法で訓練された識別器は、学習の各ステップでより安定した強力な勾配信号を生成器に供給しており、ノイズが低減され、大きさが高くなった。
• 特に畳み込み層において、識別器重みの特異値がより均等に分布しており、WGAN-TTURが示した不均一で凝集した特異値とは対照的であった。
• 提案手法は最高の計算効率を達成し、CIFAR-10では1秒間に128イテレーションを達成し、WGAN-GPおよびWGAN-TTURを上回る訓練速度を実現した。