[論文レビュー] Improving the Improved Training of Wasserstein GANs: A Consistency Term and Its Dual Effect

Wei Xiang, Boqing Gong+3 more|arXiv (Cornell University)|Mar 5, 2018

Generative Adversarial Networks and Image Synthesis被引用数 141

ひとこと要約

論文はCT-GANを導入し、WGANsにおけるリップシッツ連続性のより効果的な強制による一貫性正則化を実データ多様体上の一貫性項で勾配ペナルティを拡張し、画像忠実度を向上させ、限られたラベルでも強力な半教師あり学習結果を実現する。

ABSTRACT

Despite being impactful on a variety of problems and applications, the generative adversarial nets (GANs) are remarkably difficult to train. This issue is formally analyzed by \\cite{arjovsky2017towards}, who also propose an alternative direction to avoid the caveats in the minmax two-player training of GANs. The corresponding algorithm, called Wasserstein GAN (WGAN), hinges on the 1-Lipschitz continuity of the discriminator. In this paper, we propose a novel approach to enforcing the Lipschitz continuity in the training procedure of WGANs. Our approach seamlessly connects WGAN with one of the recent semi-supervised learning methods. As a result, it gives rise to not only better photo-realistic samples than the previous methods but also state-of-the-art semi-supervised learning results. In particular, our approach gives rise to the inception score of more than 5.0 with only 1,000 CIFAR-10 images and is the first that exceeds the accuracy of 90% on the CIFAR-10 dataset using only 4,000 labeled images, to the best of our knowledge.

研究の動機と目的

• Wasserstein GANs (WGANs) の訓練不安定性を、Lipschitz連続性をより効果的に強制することで動機づけて対処する。
• 勾配ペナルティに加えて、実データ多様体上のLipschitz連続性を課す一貫性項を提案する。
• CIFAR-10とMNISTにおいて、写真のようにリアルなサンプル生成と強力な半教師あり学習性能の改善を示す。
• 少データ領域でのデータ効率と過剰適合の低減を示す。
• 半教師ありGANベースの学習とシームレスに統合されるフレームワークを提供する。

提案手法

• Lipschitz連続性に由来するソフトな一貫性項 CT を導入して、Lipschitz界の違反を罰するように改善された WGAN 目的を拡張する。
• 識別器に dropout による仮想点を介して実データ点の摂動を導入し、実データ周辺の局所的な Lipschitz 制約を推定する。
• GP-WGAN のように、実データと生成データの間の補間サンプルに対して勾配ペナルティ項 GP を追加し、それを全体損失の CT と組み合わせる。
• 判別器の目的関数 L = E_z[D(G(z))] − E_x[D(x)] + λ1 GP|ẑ + λ2 CT|x′,x″ を定式化する。ここで CT は近傍の実データ領域における摂動された判別器出力間の一貫性を課す。
• このアプローチを半教師あり学習と結びつけるため、識別器を K+1 出力に適応させ、SSL 目的に temporal ensembling 風の一貫性項 CT を組み込む。
• 実験で使用したハイパーパラメータ（例：λ1 = 10, λ2 = 2）および M′ 設定（0 から 0.2）などの訓練の詳細を提供する。

実験結果

リサーチクエスチョン

• RQ1 整合性項によって実データ多様体上の Lipschitz 連続性を強制することは、WGAN の訓練安定性とサンプル品質を改善しますか？
• RQ2 提案された CT 項は、限られたラベルデータでより良い半教師あり学習性能を得るために勾配ペナルティを補完しますか？
• RQ3 CT-GAN は、標準ベンチマーク（MNIST、CIFAR-10）において、教師なしおよび半教師あり設定の両方でどう性能を示しますか？
• RQ4 このアプローチは過剰適合を減らし、低データ領域でデータ効率を維持しますか？

主な発見

• CT-GAN は CIFAR-10 および MNIST において GP-WGAN よりも写真のようにリアルなサンプルを生成します。
• 本手法は過剰適合を抑制し、GP-WGAN が飽和する領域でもテストデータの改善を継続します。
• CT-GAN は CIFAR-10 において、教師なしおよび半教師あり設定の両方で最先端の inception score を達成します（例：従来の GAN ベースの結果を上回る inception score）。
• ラベル付き画像が 4,000 枚のみの半教師あり CIFAR-10 で、CT-GAN は 9.98% のテスト誤差を達成し、いくつかの競合する GAN ベースの SSL 手法を上回る。
• MNIST では、他手法と比較して競争力のある半教師ありのテスト誤差（0.89% ± 0.13）を達成。
• 定性的結果は、GP-WGAN と比較してネットワークアーキテクチャを越えて、よりクリーンで一貫性のあるサンプルを示す。