[論文レビュー] Geometric GAN

Jae Hyun Lim, Jong Chul Ye|arXiv (Cornell University)|May 8, 2017

Generative Adversarial Networks and Image Synthesis被引用数 62

ひとこと要約

Geometric GANはGAN訓練を三つの幾何的ステップとして再定義し、最大マージンを持つSVMベースの分離超平面を導入し、ナッシュ均衡への収束と安定性および性能の向上を示す。

ABSTRACT

Generative Adversarial Nets (GANs) represent an important milestone for effective generative models, which has inspired numerous variants seemingly different from each other. One of the main contributions of this paper is to reveal a unified geometric structure in GAN and its variants. Specifically, we show that the adversarial generative model training can be decomposed into three geometric steps: separating hyperplane search, discriminator parameter update away from the separating hyperplane, and the generator update along the normal vector direction of the separating hyperplane. This geometric intuition reveals the limitations of the existing approaches and leads us to propose a new formulation called geometric GAN using SVM separating hyperplane that maximizes the margin. Our theoretical analysis shows that the geometric GAN converges to a Nash equilibrium between the discriminator and generator. In addition, extensive numerical results show that the superior performance of geometric GAN.

研究の動機と目的

• GANとそのバリエーションの下にある統一的な幾何学的構造を明らかにする。
• 識別器とジェネレーターの更新が分離超平面に対して移動していると解釈できることを説明する。
• 最大マージンを持つSVM分離超平面を用いた幾何学的GANを提案する。
• ナッシュ均衡への収束の理論的保証を提供する。
• 合成データと実データセットで既存のGANバリエーションに対する経験的な利点を示す。

提案手法

• GANバリエーションを三つの幾何学的ステップで解釈する：分離超平面探索、閾値超平面から離れての識別器更新、超平面法線方向に沿ったジェネレーター更新。
• 特徴空間で真データと偽物の間のマージンを最大化するためにソフトマージンSVMを分離超平面として採用する。
• 識別器とジェネレーターの更新をSVMマージンに結びつく幾何学駆動のスケーリング因子を用いた SGD ステップとして定式化する。
• p_g* が p_x に等しく、目的関数が一定値に達するナッシュ均衡への収束を示す。
• 混合ガウス分布と画像データセットでの実験的検証を提供し、安定性とモード崩壊の低減を示す。

実験結果

リサーチクエスチョン

• RQ1 分離超平面を用いた幾何学的解釈はGANバリエーションを統一し、その挙動を説明できるか。
• RQ2 標準識別器を最大マ marginのSVMベース超平面に置換するとナッシュ均衡への収束が保証されるか。
• RQ3 幾何学的GANはGAN、WGAN、McGANに比べてモード崩壊を減らし、安定性を改善するか。
• RQ4 HDLSS設定で幾何学的スケーリング因子は識別器とジェネレーターの更新にどう影響するか。
• RQ5 幾何学的・マージン最大化アプローチが実データと合成データの実証的利点をもたらす点は何か。

主な発見

• 幾何学的GANは、敵対的訓練がナッシュ均衡で p_g* = p_x および R(D*,G*) = 2 となる収束可能なフレームワークを提供する。
• 最大マージンを持つSVMベースの分離超平面は、識別器とジェネレーターの更新をより明確な幾何学的直感と安定化をもたらす。
• ガウス混合分布での経験的結果は、GAN、WGAN、およびMcGANのバリアントと比較してモード崩壊が少なく、リプシッツ条件下でより頑健な収束を示す。
• MNIST、CelebA、およびLSUNでの定性的結果は、モード崩壊や発散を顕著に感じさせず現実的なサンプル生成を示す。
• 幾何学に基づく更新（スケーリング因子付き）は、既存のGANバリアントにも自然に拡張され、統一的な解釈と潜在的な安定性の利点を提供する。