[論文レビュー] Structured Generative Adversarial Networks

Zhijie Deng, Hao Zhang+5 more|arXiv (Cornell University)|Nov 2, 2017

Generative Adversarial Networks and Image Synthesis参考文献 26被引用数 25

ひとこと要約

本稿では、構造的生成的対抗ネットワーク（SGAN）を提案する。SGANは、2つの協調的ゲームと2つの敵対的ゲームを用いて、指定された意味的特徴（y）と他の変動要因（z）を分離する半教師あり条件付き生成モデルである。SGANは、MNIST、SVHN、CIFAR-10でそれぞれ50、1000、4000ラベルを用いた半教師あり画像分類において、最先端の性能（誤差率1.27%、5.73%、17.26%）を達成し、分離された表現を用いて高品質で制御性の高い画像生成を可能にする。

ABSTRACT

We study the problem of conditional generative modeling based on designated semantics or structures. Existing models that build conditional generators either require massive labeled instances as supervision or are unable to accurately control the semantics of generated samples. We propose structured generative adversarial networks (SGANs) for semi-supervised conditional generative modeling. SGAN assumes the data x is generated conditioned on two independent latent variables: y that encodes the designated semantics, and z that contains other factors of variation. To ensure disentangled semantics in y and z, SGAN builds two collaborative games in the hidden space to minimize the reconstruction error of y and z, respectively. Training SGAN also involves solving two adversarial games that have their equilibrium concentrating at the true joint data distributions p(x, z) and p(x, y), avoiding distributing the probability mass diffusely over data space that MLE-based methods may suffer. We assess SGAN by evaluating its trained networks, and its performance on downstream tasks. We show that SGAN delivers a highly controllable generator, and disentangled representations; it also establishes start-of-the-art results across multiple datasets when applied for semi-supervised image classification (1.27%, 5.73%, 17.26% error rates on MNIST, SVHN and CIFAR-10 using 50, 1000 and 4000 labels, respectively). Benefiting from the separate modeling of y and z, SGAN can generate images with high visual quality and strictly following the designated semantic, and can be extended to a wide spectrum of applications, such as style transfer.

研究の動機と目的

• 少数のラベル付き例での半教師あり設定において、制御性と分離性に欠ける条件付き生成モデルの課題に対処すること。
• 意味的特徴（y）と他の変動要因（z）を独立した潜在変数として明示的にモデル化することで、分離性を向上させること。
• ユーザーが指定した意味的条件に厳密に従う、高品質で制御可能な画像生成を可能にすること。
• 少数のラベル付きサンプルのみを用いて、半教師あり画像分類で最先端の性能を達成すること。
• 分離された表現学習を通じて、スタイル変換などの下流タスクへの一般化を示すこと。

提案手法

• SGANは、データ生成をp(x|y,z)としてモデル化し、yが指定された意味的特徴を、zが他の要因の変動を表す。
• 生成データから潜在コードを再構築するため、2つの推論ネットワークC(x) → yとI(x) → zを導入する。
• 2つの協調的ゲームが再構築を強制する：||y - C(G(y,z))||と||z - I(G(y,z))||の最小化により、分離性を保証する。
• 2つの敵対的ゲームが、GAN風の訓練によりp(x,z)とp(x,y)の同時分布を一致させ、確率質量の拡散を回避する。
• 訓練フレームワークは敵対的および協調的目的を統合し、推論と生成の間で相互に強化するサイクルを形成する。
• 理論的収束保証のもと、再構築損失と敵対的目的の組み合わせにより、エンドツーエンドでモデルを訓練する。

実験結果

リサーチクエスチョン

• RQ1 少数のラベル付き例での学習において、条件付き生成モデルが高品質な制御性と分離性を達成できるか？
• RQ2 潜在空間で意味的特徴（y）と他の変動（z）を分離することで、より良い分離性と生成品質が得られるか？
• RQ3 モデルは、半教師あり分類やスタイル変換などの下流タスクに一般化できるか？
• RQ4 協調的再構築損失は、標準的なGANと比較して、生成器の安定性と分離性をどのように向上させるか？
• RQ5 推論と生成の間の相互強化サイクルが、モデル性能に与える影響は何か？

主な発見

• SGANは、わずか50個のラベル付きサンプルを用いてMNISTで1.27%の誤差率を達成し、半教師あり画像分類で最先端の性能を発揮した。
• SVHNでは1,000個のラベル付きサンプルを用いて誤差率を5.73%まで低下させ、強力なベースラインを上回った。
• CIFAR-10では4,000個のラベルを用いて17.26%の誤差率を達成し、低監視下でも優れた性能を示した。
• SGANは視覚的品質の高い画像を生成し、インceptionスコア6.91（±0.07）を達成し、TripleGAN（5.08）やImproved-GAN（3.87）を上回った。
• 画像の進行とスタイル変換の実験から、zがテクスチャ、形状、背景といった直交的属性を符号化していることが確認され、正確なスタイル変換が可能であることが示された。
• アブレーションスタディの結果、再構築損失（R_yまたはR_z）を削除すると性能が低下し、相互強化サイクルの必要性が裏付けられた。