[論文レビュー] MAGAN: Margin Adaptation for Generative Adversarial Networks

Ruohan Wang, Antoine Cully+2 more|arXiv (Cornell University)|Apr 12, 2017

Advanced Image Processing Techniques参考文献 16被引用数 53

ひとこと要約

MAGANs は実データの期待エネルギーに基づいてヒンジ損失のマージンを自動的に適応させ、GAN のトレーニングの安定性を改善しサンプル品質を向上させる。特定の仮定の下で収束保証を持つ。

ABSTRACT

We propose the Margin Adaptation for Generative Adversarial Networks (MAGANs) algorithm, a novel training procedure for GANs to improve stability and performance by using an adaptive hinge loss function. We estimate the appropriate hinge loss margin with the expected energy of the target distribution, and derive principled criteria for when to update the margin. We prove that our method converges to its global optimum under certain assumptions. Evaluated on the task of unsupervised image generation, the proposed training procedure is simple yet robust on a diverse set of data, and achieves qualitative and quantitative improvements compared to the state-of-the-art.

研究の動機と目的

• GAN トレーニングにおけるオートエンコーダベースの識別器の不安定さとモード崩壊に対処する動機づけ。
• トレーニング統計に応じてヒンジ損失マージン m を調整するマージン適応メカニズムを導入。
• 特定の条件下で MAGANs がデータ分布へ収束することを示す理論的収束解析を提供。
• 複数データセット（MNIST、CIFAR-10、CelebA）における画像生成品質と安定性の経験的改善を示す。

提案手法

• D をディープオートエンコーダと定義し、識別器目的関数で margin m を用いたヒンジ損失を適用。
• 実データの期待エネルギーに基づいて margin m_t を適応させ、D と G の平衡を維持。
• 初期の識別器事前学習を含む2段階プロセスで訓練。
• 特定の統計が停滞と発散傾向を示したときに m_t を更新。
• 与えられた仮定の下で MAGANs が p_data = p_G に収束することを証明し、分布が乖離する場合には m_t が単調に0へ収束することを示す。
• EBGANs および BEGANs への理論的比較を提供し、安定性と収束保証を強調。

実験結果

リサーチクエスチョン

• RQ1 適応的マージンはオートエンコーダベースの GAN におけるトレーニングの安定性とサンプル品質を改善できるか？
• RQ2 MAGANs はどの条件下で真のデータ分布へ収束するか？
• RQ3 ディスクリミネータとジェネレータの力関係は固定マージンのアプローチと比べてマージン適応によってどのように動的になるか？
• RQ4 MAGANs は追加のハイパーパラメータを増やさずに多様なデータセット（MNIST、CIFAR-10、CelebA）で頑健か？

主な発見

Method	Score ± Std
Real data	11.24 ± 0.12
DFM	7.72 ± 0.13
EGANs	7.07 ± 0.10
BEGANs	5.62
ALI	5.34 ± 0.05
Improved GANs	4.36 ± 0.04
MIX + WGANs	4.04 ± 0.07
Wasserstein GANs	3.82 ± 0.06
MAGANs	6.40 ± 0.03

• MAGANs は複数データセットに対する最先端のオートエンコーダ GAN 変種に対して定性的および定量的な改善を達成。
• CIFAR-10 では MAGANs が他のベースライン（例：BEGANs 5.62、EGANs 7.07、Improved GANs 4.36 など）より高い inception スコアを達成（6.40 ± 0.03）。
• MNIST では MAGANs が多様なクラスカバレッジを生み出し、EBGANs（7.14 ± 0.04）より高い inception-like スコアを示す（7.52 ± 0.03）。
• Qualitative CelebA の結果は BEGANs および EBGANs と比較してより詳細で一貫性のある顔を示す。
• Margin adaptation は 判別器の力を一時的に低下させつつ、ジェネレータが低エネルギーのサンプルを生成するよう導くことでトレーニングの安定性を高める。
• MAGANs は上述の仮定の下で p_data ≈ p_G に収束し、分布が一致しない場合にはマージン m_t が 0 に単調収束する。