[論文レビュー] Improving the Improved Training of Wasserstein GANs: A Consistency Term and Its Dual Effect

Wei Xiang, Boqing Gong+3 more|arXiv (Cornell University)|Mar 5, 2018

Generative Adversarial Networks and Image Synthesis参考文献 33被引用数 52

ひとこと要約

一貫性項を導入して実データ多様体周辺のリプシッツ連続性を強制し、WGAN のトレーニングを安定化させ、強力な半教師付き学習結果を可能にする。CIFAR-10 で最先端の inception スコアを達成し、限られたラベルで競争力のある半教師付き学習精度を示す。

ABSTRACT

Despite being impactful on a variety of problems and applications, the generative adversarial nets (GANs) are remarkably difficult to train. This issue is formally analyzed by \cite{arjovsky2017towards}, who also propose an alternative direction to avoid the caveats in the minmax two-player training of GANs. The corresponding algorithm, called Wasserstein GAN (WGAN), hinges on the 1-Lipschitz continuity of the discriminator. In this paper, we propose a novel approach to enforcing the Lipschitz continuity in the training procedure of WGANs. Our approach seamlessly connects WGAN with one of the recent semi-supervised learning methods. As a result, it gives rise to not only better photo-realistic samples than the previous methods but also state-of-the-art semi-supervised learning results. In particular, our approach gives rise to the inception score of more than 5.0 with only 1,000 CIFAR-10 images and is the first that exceeds the accuracy of 90% on the CIFAR-10 dataset using only 4,000 labeled images, to the best of our knowledge.

研究の動機と目的

• Wasserstein GANs (WGANs) のトレーニングにおける不安定性を動機づけて対処する。
• 実データの多様体の周りだけでなく、実データ点と生成点の間のリプシッツ連続性をも強制する。
• WGAN のトレーニングにおいて勾配ペナルティ (GP) を補完する実用的な一貫性項 (CT) を提案する。
• CIFAR-10 および MNIST で生成品質の向上と競争力のある半教師付き学習性能を実証する。
• 低データ域におけるデータ効率と過学習の抑制を示す。

提案手法

• 撹乱された実データ点間のリプシッツ条件違反をペナルティ化する、リプシッツ連続性ベースの一貫性項 CT を定義する。
• 識別器内の dropout によって実データを摂動し、近傍の仮想点 x' と x'' を作成して CT[x', x''] を正則化項として計算する。
• CTと勾配ペナルティ GP を組み合わせて結合識別子の目的関数を形成する: L = E[D(G(z))] - E[D(x)] + lambda1 GP[x̂] + lambda2 CT[x', x''].
• ラベルあり/なしデータのための K+1 出力識別器と、 temporal ensembling に似た一貫性項 CT を用いた半教師付き拡張を使用する。
• GP-WGAN および半教師付き GAN 文献に合わせたネットワークアーキテクチャとトレーニング設定を採用する（例: temporal ensembling）。
• サンプリング、L の計算、識別器と生成器の更新を含むアルゴリズム的手順（CT-GAN）を提供する。

実験結果

リサーチクエスチョン

• RQ1 一貫性項を介して実データ多様体上でリプシッツ連続性を強制することは、WGAN のトレーニング安定性とサンプル品質を改善するか？
• RQ2 CT はWGANと統合した場合、半教師付き学習性能を向上させるか？
• RQ3 特に低データ域におけるCTの過学習への影響はどうか？
• RQ4 標準ベンチマーク（MNIST、CIFAR-10）で、CT は勾配ペナルティとどのように相互作用して、生成と分類の結果を改善するか？

主な発見

• CT-GAN は MNIST および CIFAR-10 で GP-WGAN よりも写真のようにリアルなサンプルを生成する。
• CT-GAN は過学習を減らし、トレーニングコストとテストコストの両方で継続的な改善を示す一方、GP-WGAN とは異なる。
• CIFAR-10 で小さな CNN ジェネレータを用いた場合、CT-GAN は inception スコアを 2.98±0.11 (GP-WGAN) から 5.13±0.12 に引き上げる。
• ResNet を用いた CIFAR-10 で、CT-GAN は最も高い無監視および監視付き inception score を達成: 8.81±0.13 (unsupervised IS) と 8.12±0.12 (supervised IS)、4,000 ラベルでの半教師付き設定で 95.91% の精度。
• 半教師付き CIFAR-10 では、CT-GAN は 9.98±0.21% のテストエラーを達成し、複数の GAN ベースラインおよび SSL ベースラインを上回る。
• MNIST の半教師付きテストエラーは CT-GAN で 0.89±0.13%、データセット上の最先端手法と競合する。