[論文レビュー] On the regularization of Wasserstein GANs

Henning Petzka, Asja Fischer+1 more|arXiv (Cornell University)|Sep 26, 2017

Generative Adversarial Networks and Image Synthesis参考文献 12被引用数 128

ひとこと要約

リプシッツペナルティ（WGAN-LP）を提案し、WGAN-GPより安定性が高くハイパーパラメータ感度が低いと主張し、正則化選択の理論的原因を分析する。

ABSTRACT

Since their invention, generative adversarial networks (GANs) have become a popular approach for learning to model a distribution of real (unlabeled) data. Convergence problems during training are overcome by Wasserstein GANs which minimize the distance between the model and the empirical distribution in terms of a different metric, but thereby introduce a Lipschitz constraint into the optimization problem. A simple way to enforce the Lipschitz constraint on the class of functions, which can be modeled by the neural network, is weight clipping. It was proposed that training can be improved by instead augmenting the loss by a regularization term that penalizes the deviation of the gradient of the critic (as a function of the network's input) from one. We present theoretical arguments why using a weaker regularization term enforcing the Lipschitz constraint is preferable. These arguments are supported by experimental results on toy data sets.

研究の動機と目的

• WGANにおけるリプシッツ制約を正則化することがなぜ重要かを説明する。
• 勾配ペナルティ（GP）と提案されたリプシッツペナルティ（LP）を比較する。
• より弱く、よりロバストな正則化項の理論的・経験的証拠を提供する。
• toyデータセットとCIFAR-10で実用的な訓練改善を示す。

提案手法

• WGANのためのKantorovich双対性と最適輸送の基礎をレビュー。
• 正のとき||∇f(x̂)||-1をペナルizeするリプシッツ正則化項を導入。
• LPペナルティを用いた鑑別機と生成機の交互更新を行うWGAN-LPを提案。
• 勾配ペナルティと最適結合を用いたサンプリング時の問題を分析。
• 理論的境界とデータセットでの経験的訓練を通じてLPとGPを比較。

実験結果

リサーチクエスチョン

• RQ1 WGANにおいてリプシッツ制約を課すことはなぜ重要で、どのように正則化すべきか。
• RQ2 片側勾配ペナルティは実践で二側ペナルティとどう異なるか。
• RQ3 提案されたWGAN-LPはWGAN-GPに対して安定性とハイパーパラメータ感度の低減を提供するか。
• RQ4 マージナル分布からのサンプリングと最適結合の勾配ペナルティ使用時に生じる理論的問題は何か。
• RQ5 LPとGPペナルティはCIFAR-10のような標準ベンチマークでどう機能するか。

主な発見

• ||∇f(x̂)|| Penalizationに基づくリプシッツペナルティは重みクリッピングおよびGPペナルティより訓練安定性を改善する。
• WGAN-LPはさまざまなλ値に対してクリティック損失の安定性と収束挙動をより改善する。
• LPペナルティはハイパーパラメータの選択に対する感度が低く、訓練中のWasserstein距離の推定が改善される。
• CIFAR-10上の実験結果は、同等のレジームでWGAN-GPと比較して競争力のあるまたはそれ以上のサンプル品質を示す。
• より弱い正則化（LP）が、最適輸送結合が決定的でない場合やクリティックの微分可能性が制限される場合に有利になり得るという理論的主張がある。
• marginalsからのサンプリングが最適結合ではなく勾配挙動とクリティックの微分可能性に影響を与え得ることを実証的に示す。