[論文レビュー] StackGAN: Text to Photo-realistic Image Synthesis with Stacked Generative Adversarial Networks

Han Zhang, Tao Xu+5 more|arXiv (Cornell University)|Dec 9, 2016

Generative Adversarial Networks and Image Synthesis被引用数 227

ひとこと要約

StackGANは、Stage-I（スケッチ）とStage-II（洗練）GANにタスクを分解してテキストから256x256の写真実像画像を生成し、多様性と安定性を向上させる Conditioning Augmentation を導入します。

ABSTRACT

Synthesizing high-quality images from text descriptions is a challenging problem in computer vision and has many practical applications. Samples generated by existing text-to-image approaches can roughly reflect the meaning of the given descriptions, but they fail to contain necessary details and vivid object parts. In this paper, we propose Stacked Generative Adversarial Networks (StackGAN) to generate 256x256 photo-realistic images conditioned on text descriptions. We decompose the hard problem into more manageable sub-problems through a sketch-refinement process. The Stage-I GAN sketches the primitive shape and colors of the object based on the given text description, yielding Stage-I low-resolution images. The Stage-II GAN takes Stage-I results and text descriptions as inputs, and generates high-resolution images with photo-realistic details. It is able to rectify defects in Stage-I results and add compelling details with the refinement process. To improve the diversity of the synthesized images and stabilize the training of the conditional-GAN, we introduce a novel Conditioning Augmentation technique that encourages smoothness in the latent conditioning manifold. Extensive experiments and comparisons with state-of-the-arts on benchmark datasets demonstrate that the proposed method achieves significant improvements on generating photo-realistic images conditioned on text descriptions.

研究の動機と目的

• テキスト記述から高解像度で写真実像の画像を生成する難しさを動機づけ、対処する。
• テキスト-to-画像合成を二つの扱いやすい段階に分解して、詳細と忠実度を向上させる。
• Conditioning Augmentation（CA）を用いてトレーニングの安定性と多様性を高める。
• 標準データセット上で、従来のテキスト-to-画像手法と定量的・定性的に改善を示す。

提案手法

• Stage-I がテキストを条件として低解像度のスケッチを生成するStackGANアーキテクチャを提案する。
• Stage-II は Stage-I の出力を洗練し、テキストと Stage-I の結果の両方を条件として高解像度の画像を生成し、詳細を追加する。
• Conditioning Augmentation を導入して、テキスト埋め込みでパラメト化されたガウス分布から確率的な条件付変数をサンプルし、KLダイバージェンス正則化項を加える。
• 両段階を通じて画像とテキスト記述をより良く整合させるマッチング認識的ディスcriminatorを使用する。
• Stage-I および Stage-II のステージ別の敵対的損失で訓練し、ADAM と標準的なGANトレーニング手順を用いる。

実験結果

リサーチクエスチョン

• RQ1 二段階の積み重ね型GANフレームワークは、単一段階のアプローチよりもテキスト条件で高解像度かつより現実的な画像を生成できるか。
• RQ2 Conditioning Augmentation はテキストto-画像合成において多様性を高め、訓練の安定性を改善するか。
• RQ3 Stage-II の洗練は Stage-I の欠陥をどのように修正し、256x256 のリアリズムを実現する詳細を追加するか。

主な発見

• StackGAN はテキスト説明に条件付けられた 256x256 の写真品質画像を達成し、複数のデータセットで最先端の手法を上回る。
• Conditioning augmentation は訓練の安定性とサンプルの多様性を改善し、Inception スコアの向上と多様な出力で裏付けられる。
• Stage-II の洗練は一貫して画像品質を向上させ、Stage-I の欠陥を修正し、テキストと整合するディテールを追加する。
• Inceptionスコアと人間評価は、CUB、Oxford-102、COCO の各データセットで StackGAN が GAN-INT-CLS および GAWWN よりも優れていることを示す。
• Stage-I のみでは高解像度で妥当な画像を生成するのが難しいが、StackGAN の二段階設計は優れた結果をもたらす。