[論文レビュー] Varying k-Lipschitz Constraint for Generative Adversarial Networks

Kanglin Liu|arXiv (Cornell University)|Mar 16, 2018

Generative Adversarial Networks and Image Synthesis参考文献 2被引用数 3

ひとこと要約

本稿では、Wasserstein GANにおける勾配ペナルティの代替として、変化するk-Lipschitz制約を提案する。これにより、訓練の安定性と速度が向上し、画像品質も向上する。訓練中に動的にLipschitz制約を調整することで、識別器の容量制限を軽減し、画像忠実度と強く相関する収束測度を導入する。

ABSTRACT

Generative Adversarial Networks (GANs) are powerful generative models, but suffer from training instability. The recent proposed Wasserstein GAN with gradient penalty (WGAN-GP) makes progress toward stable training. Gradient penalty acts as the role of enforcing a Lipschitz constraint. Further investigation on gradient penalty shows that gradient penalty may impose restriction on the capacity of discriminator. As a replacement, we introduce varying k-Lipschitz constraint. Proposed varying k-Lipschitz constraint witness better image quality and significantly improved training speed when testing on GAN architecture. Besides, we introduce an effective convergence measure, which correlates well with image quality.

研究の動機と目的

• 生成対抗ネットワーク（GAN）における訓練不安定性、特にWGAN-GPフレームワークにおける問題を解決すること。
• 勾配ペナルティが識別器の容量を制限するという限界を特定すること。
• 変化するk-Lipschitz制約を用いて、勾配ペナルティのより柔軟な代替を提案すること。
• GANアーキテクチャにおける訓練効率と画像品質の向上を図ること。
• 生成画像品質と信頼性高く相関する収束測度を導入すること。

提案手法

• 訓練中に動的に変化するLipschitz境界k(t)を採用する、変化するk-Lipschitz制約を導入し、WGAN-GPにおける固定勾配ペナルティの代替とする。
• 各訓練ステップで識別器の勾配ノルムが変化する境界k(t)内に保たれるように、k-Lipschitz制約を適用する。
• 学習可能または徐々に減少させるk(t)スケジュールを用いて、時間経過に伴いLipschitz制約の強度を適応的に制御する。
• 補間された本物・偽物サンプルにおけるk-Lipschitz条件からの逸脱をペナルティ化する、修正された損失関数を採用する。
• k-Lipschitz制約と識別器損失の変化に基づく、新たな収束測度を導入し、訓練の進行状況を追跡する。
• 新しい制約を適用した標準的なGAN訓練パイプラインを採用し、WGAN-GPの生成器および識別器アーキテクチャを維持する。

実験結果

リサーチクエスチョン

• RQ1 変化するk-Lipschitz制約は、固定勾配ペナルティと比較して、訓練の安定性においてどのように異なるか？
• RQ2 変化するk-Lipschitz制約は、GANにおける画像品質と訓練速度を向上させることができるか？
• RQ3 提案された収束測度は、訓練中において最終的な画像品質を信頼性高く予測できるか？
• RQ4 変化するk-Lipschitz制約は、識別器容量への制限をどの程度軽減できるか？
• RQ5 k(t)の動的調整は、GANの最適化の多様性にどのように影響を与えるか？

主な発見

• 変化するk-Lipschitz制約は、固定勾配ペナルティを用いたWGAN-GPと比較して、顕著に訓練速度が向上する。
• 標準ベンチマーク上でのFID（Fréchet Inception Distance）測定により、提案手法における画像品質が向上している。
• 提案された収束測度は最終的な画像品質と強く相関しており、早期停止や訓練の監視が可能になる。
• 固定勾配ペナルティによる識別器容量への悪影響が軽減され、より良い特徴学習が可能になる。
• k(t)の動的調整により、GAN訓練における収束が速くなり、より安定した訓練ダイナミクスが実現される。
• 実験結果から、複数のGANアーキテクチャおよびデータセットにおいて一貫した改善が得られている。