[論文レビュー] Do GAN Loss Functions Really Matter

Yipeng Qin, Niloy J. Mitra+1 more|arXiv (Cornell University)|Jan 1, 2018

Speech and Audio Processing被引用数 2

ひとこと要約

本稿では、GANの損失関数とリプシッツ正則化の相乗効果を調査し、ディスクライマのリプシッツ定数が小さい（きびしい制約下にある）場合、NS-GAN、LS-GAN、さらにはsinやexpといった奇妙な損失関数ですら、WGAN損失に類似した挙動を示し、類似した性能を示すことを実証した。リプシッツ定数が大きい場合でも、WGANのみが強い性能を維持する。これは、GANの成功の真の要因は損失関数の選択ではなく、リプシッツ正則化にあることを示している。

ABSTRACT

In this paper, we address the recent controversy between Lipschitz regularization and the choice of loss function for the training of Generative Adversarial Networks (GANs). One side argues that the success of the GAN training should be attributed to the choice of loss function [16, 2, 5], while the other suggests that the Lipschitz regularization is the key to good results [17, 3, 18, 19]. We provide a theoretical and experimental analysis of how Lipschitz regularization interacts with the loss function to derive the following insights: (i) We show that popular GANs (NS-GAN [4], LS-GAN [16], WGAN [2]) perform equally well when the discriminator is regularized with a small Lipschitz constant, but the performance in terms of quality and diversity gets worse for larger Lipschitz constants, except for WGAN. (ii) We show that all loss functions degenerate to linear ones for small Lipschitz constants to explain why the performance of these GANs is similar. For higher Lipschitz constants, we observe that only WGAN performs well while NS-GAN and LS-GAN break down. For lower Lipschitz constants, NS-GAN and LS-GAN perform similarly to WGAN only because they degenerate to the WGAN loss. In order to further illustrate this issue, we demonstrate that even ridiculous loss functions such as sin and exp have similar performance to NS-GAN, LS-GAN, and WGAN, when small Lipschitz constants are used.

研究の動機と目的

• GAN学習の成功要因が損失関数の選択にあるのか、リプシッツ正則化にあるのかという論争を解消すること。
• 損失関数とリプシッツ定数の相互作用が、GANの品質と多様性に与える影響を分析すること。
• 特定の正則化条件下で、見た目は異なるGAN損失関数が実際には類似した挙動を示すかどうかを評価すること。
• sin や exp といった非標準的な損失関数を含め、さまざまな損失関数が異なるリプシッツ制約下でどれほど頑健であるかをテストすること。

提案手法

• リプシッツ正則化がGAN損失関数の関数的形に与える影響を理論的に分析すること。
• さまざまなリプシッツ定数下で、NS-GAN、LS-GAN、WGAN といった複数の損失関数におけるGAN性能を経験的に評価すること。
• 小さなリプシッツ定数を用いて、非WGAN損失関数がWGANに類似した挙動に退化するように誘導すること。
• 同一の正則化設定下で、標準的および奇妙な損失関数（例：sin, exp）を実験的に比較すること。
• 小さなリプシッツ定数の極限における損失関数の挙動を分析し、線形化効果を明らかにすること。
• リプシッツ定数を体系的に変化させたアブレーションを通じて、その影響を損失関数設計から分離すること。

実験結果

リサーチクエスチョン

• RQ1 リプシッツ正則化は、さまざまなGAN損失関数の有効な挙動にどのように影響するか？
• RQ2 NS-GAN や LS-GAN がいつWGANと同等に機能するのか？
• RQ3 なぜWGANは高いリプシッツ定数下でも性能を維持できるのに対し、他の損失関数は失敗するのか？
• RQ4 sin や exp といった非標準的損失関数は、どの程度WGANの性能を模倣するのか？
• RQ5 GAN成功の真の要因は損失関数設計か、リプシッツ正則化か？

主な発見

• ディスクライマのリプシッツ定数が小さい場合、NS-GAN、LS-GAN、WGANはすべて、線形かつWGANに類似した損失関数に退化するため、同等の性能を示す。
• リプシッツ定数が大きい場合、WGANのみが強い性能を維持する。NS-GAN や LS-GAN は性能を低下させる。
• sin や exp を含むすべての損失関数が、リプシッツ定数が小さい場合、WGANと同等の性能を達成する。これは線形化に起因する。
• NS-GAN や LS-GAN が小さな定数下でWGANと類似した性能を示すのは、損失関数そのものの性質によるのではなく、正則化下での退化によるものである。
• WGANが高いリプシッツ定数下でも頑健であるのは、他の損失関数とは異なり、独自の特徴である。
• 理論的分析により、損失関数が小さなリプシッツ制約下で線形形式に退化することが確認され、経験的性能の類似性が説明された。