[論文レビュー] Fisher GAN

Youssef Mroueh, Tom Sercu|arXiv (Cornell University)|May 26, 2017

Generative Adversarial Networks and Image Synthesis参考文献 34被引用数 11

ひとこと要約

Fisher GAN は、生成対抗ネットワーク（GAN）の安定的かつ効率的な学習を可能にする、新しい訓練フレームワークを、積分確率的距離（IPM）族内に導入した。このフレームワークでは、評価者（critic）の2次モーメントにデータ依存の制約を課すことで、重みクリッピングや他のデータに依存しない制約なしに、安定した学習が可能となる。この手法は、画像生成および半教師あり分類の両方で優れた性能を発揮するとともに、評価者の表現能力を維持する。

ABSTRACT

Generative Adversarial Networks (GANs) are powerful models for learning complex distributions. Stable training of GANs has been addressed in many recent works which explore different metrics between distributions. In this paper we introduce Fisher GAN which fits within the Integral Probability Metrics (IPM) framework for training GANs. Fisher GAN defines a critic with a data dependent constraint on its second order moments. We show in this paper that Fisher GAN allows for stable and time efficient training that does not compromise the capacity of the critic, and does not need data independent constraints such as weight clipping. We analyze our Fisher IPM theoretically and provide an algorithm based on Augmented Lagrangian for Fisher GAN. We validate our claims on both image sample generation and semi-supervised classification using Fisher GAN.

研究の動機と目的

• 従来の GAN 学習における不安定性と非効率性を解消するため、新しい IPM ベースのフレームワークを導入すること。
• GAN 学習において、重みクリッピングなどのデータに依存しない制約の必要性を排除すること。
• 新しいモーメント制約を通じて、安定した最適化を確保しつつ、高い評価者容量を維持すること。
• 理論的裏付けが強く、計算的にも効率的な GAN 学習アルゴリズムの開発。
• 画像生成および半教師あり分類タスクにおける手法の検証。

提案手法

• Fisher GAN は、評価者の出力の2次モーメントにデータに依存する制約を課す評価者を定式化する。
• この手法は、Fisher 散発に基づく距離を用いて分布の乖離を測定する、積分確率的距離（IPM）フレームワーク内で動作する。
• 制約付き最適化問題を効率的に解くために、拡張ラグランジュ法（Augmented Lagrangian）アルゴリズムを提案する。
• 評価者は、データ分布に適応するモーメント制約の下で、本物のサンプルと生成されたサンプルを区別するように学習する。
• この制約により、評価者の表現能力が制限されないまま安定した最適化が保証される。
• 同じ評価者アーキテクチャを用いて、非条件付き生成と半教師あり学習の両方をサポートする。

実験結果

リサーチクエスチョン

• RQ1 データに依存するモーメント制約を用いることで、重みクリッピングに依存せずに GAN の学習を安定化させることができるか？
• RQ2 Fisher GAN は、学習の安定性を確保しつつも、評価者の表現能力を維持できるか？
• RQ3 Fisher GAN は、既存の IPM ベースの GAN と比較して、学習効率およびサンプル品質の点で優れているか？
• RQ4 Fisher GAN は、半教師あり分類タスクにおいて優れた性能を発揮できるか？
• RQ5 提案された Fisher IPM 形式の理論的裏付けは何か？

主な発見

• Fisher GAN は、重みクリッピングや他のデータに依存しない制約なしに、安定的かつ時間的にも効率的な GAN 学習を可能にする。
• この手法は、アーキテクチャ的制限による性能劣化を回避するため、高い評価者容量を維持する。
• 拡張ラグランジュ法は、実際の制約付き最適化問題を効果的に解ける。
• Fisher GAN は、高品質なサンプルを生成する点で、競争力のある結果を達成する。
• 半教師あり分類ベンチマークでも優れた性能を示し、強力な特徴抽出能力を示している。
• 理論的分析により、IPM フレームワーク内での Fisher IPM 形式の妥当性が確認された。