[論文レビュー] Stacked Generative Adversarial Networks

Xun Huang, Yixuan Li+3 more|arXiv (Cornell University)|Dec 13, 2016

Generative Adversarial Networks and Image Synthesis参考文献 64被引用数 46

ひとこと要約

本論文では、抽象的から詳細な表現へ段階的に精錬することで高精細な画像を生成する階層的生成モデルであるスタックド生成的対抗ネットワーク（SGAN）を提案する。表現識別器を用いて事前学習済みの識別的特徴を活用し、条件付きおよびエントロピー損失を導入することで、CIFAR-10で最先端のInceptionスコアを達成し、従来のGANよりも多様で現実的な画像を生成する。

ABSTRACT

In this paper, we propose a novel generative model named Stacked Generative Adversarial Networks (SGAN), which is trained to invert the hierarchical representations of a bottom-up discriminative network. Our model consists of a top-down stack of GANs, each learned to generate lower-level representations conditioned on higher-level representations. A representation discriminator is introduced at each feature hierarchy to encourage the representation manifold of the generator to align with that of the bottom-up discriminative network, leveraging the powerful discriminative representations to guide the generative model. In addition, we introduce a conditional loss that encourages the use of conditional information from the layer above, and a novel entropy loss that maximizes a variational lower bound on the conditional entropy of generator outputs. We first train each stack independently, and then train the whole model end-to-end. Unlike the original GAN that uses a single noise vector to represent all the variations, our SGAN decomposes variations into multiple levels and gradually resolves uncertainties in the top-down generative process. Based on visual inspection, Inception scores and visual Turing test, we demonstrate that SGAN is able to generate images of much higher quality than GANs without stacking.

研究の動機と目的

• 深層生成モデルによる高品質で多様な画像の生成という課題に、複雑なデータ分布を管理可能な階層的コンポonentに分解することで対処すること。
• 事前学習済みの識別的ネットワークから得られる強力な階層的表現を活用し、トップダウンの生成モデルの訓練を支援すること。
• 生成器出力の条件付きエントロピーの変分下界を最大化する新しいエントロピー損失を導入することで、条件付きGANにおけるサンプルの多様性と品質を向上させること。
• 階層の各層に表現識別器を介在させ、生成された表現を識別的ネットワークからの実際の表現と一致させることで、中間的監視を提供すること。
• スタックドGANに階層的条件付けと多段階の監視を組み合わせることで、標準GANに比べて顕著に優れた画像品質と多様性を達成できることを示すこと。

提案手法

• モデルは、上位の層からの高レベル特徴を条件として、各生成器が下位のレベルの表現を生成するトップダウンのGANスタックから構成される。
• 各層に表現識別器を導入し、事前学習済みの識別的ネットワークから得た実際の中間特徴と、対応する生成器が生成した偽の特徴を区別する。
• 各生成器が上位の条件情報（高レベル特徴）を効果的に活用できるように、条件付き損失を適用することで、忠実性と一貫性を向上させる。
• 生成器出力の条件付きエントロピーの変分下界を最大化する新しいエントロピー損失を導入し、モード崩壊を防止し多様性を向上させる。
• 2段階の訓練戦略を採用する：まず、各スタックを敵対的損失および補助損失を用いて独立に事前学習し、次に、全モデルをエンドツーエンドで微調整する。
• 最上位の生成器はクラスラベルを入力とし、最下位の生成器が出力として最終的な画像を生成するため、条件付き生成が可能になる。

実験結果

リサーチクエスチョン

• RQ1 階層的条件付けを施した複数のGANをスタックさせることで、単一のGANと比較して画像生成品質が向上するか？
• RQ2 事前学習済みの識別的ネットワークからの特徴を一致させる表現識別器は、生成画像の現実性と一貫性を向上させるか？
• RQ3 条件付き損失とエントロピー損失を併用することで、条件付きGANにおける忠実性と多様性が同時に向上するか？
• RQ4 事前学習段階 followed by エンドツーエンド微調整という2段階の訓練戦略は、収束性と性能向上に寄与するか？
• RQ5 標準GANにおける1つのノイズベクトルと比較して、階層的分解により各レベルでの変動をどのように処理することで生成品質が向上するか？

主な発見

• SGANはCIFAR-10で8.88という最先端のInceptionスコアを達成し、ベースラインのDCGANや先行研究を顕著に上回った。
• アブレーションスタディの結果、ジョイントトレーニングなしのSGANでも高品質なサンプルを生成し、すべての先行研究をInceptionスコアで上回った。これはスタックドアーキテクチャの頑健性を示している。
• 標準DCGANにエントロピー損失を追加することで、モード崩壊が防止され、多様な画像生成が可能になった。一方、条件付き損失のみを適用した場合、各クラスごとに1つの画像に収束する（モード崩壊）。
• ジョイントトレーニングを施した完全なSGANモデルは、ジョイントトレーニングなしのSGANよりも高いInceptionスコアを達成しており、エンドツーエンドの精錬による利点を示している。
• Inceptionスコアは視覚的品質とよく相関するが、モード崩壊には感受性が低く、アブレーションスタディでは崩壊したサンプルと多様なサンプルで同じスコアが得られた。
• 提案されたエントロピー損失は、条件付きGANにおける多様性を効果的に向上させる。これは、他の条件付き生成タスクにおいても一般化可能な正則化項として利用可能である可能性を示唆している。