[論文レビュー] Generating Images Part by Part with Composite Generative Adversarial Networks

Kwak, Hanock, Byoung‐Tak Zhang|arXiv (Cornell University)|Jul 19, 2016

Generative Adversarial Networks and Image Synthesis参考文献 14被引用数 33

ひとこと要約

本稿では、複数の独立した生成器を用いて画像の各セマンティックコンポーネント（例：背景、顔、髪）を部分的に生成し、アルファブレンドによって統合する、非教師あり画像生成フレームワークである複合的生成対抗ネットワーク（CGAN）を提案する。このモデルは、標準的なGANと同等の画像品質を達成するとともに、ラベルなしで分離可能で階層的な生成が可能であり、SSIMスコアとVAE統合による潜在空間可視化によって検証されている。

ABSTRACT

Image generation remains a fundamental problem in artificial intelligence in general and deep learning in specific. The generative adversarial network (GAN) was successful in generating high quality samples of natural images. We propose a model called composite generative adversarial network, that reveals the complex structure of images with multiple generators in which each generator generates some part of the image. Those parts are combined by alpha blending process to create a new single image. It can generate, for example, background and face sequentially with two generators, after training on face dataset. Training was done in an unsupervised way without any labels about what each generator should generate. We found possibilities of learning the structure by using this generative model empirically.

研究の動機と目的

• 教師なし学習を用いて、分離可能な変動要因を有する複雑で構造的な画像を生成する課題に対処すること。
• 画像を段階的に生成するセマンティック部分（例：背景、顔、髪）を順次生成することで、階層的な生成モデルを開発すること。
• 分類ラベルなしで、非教師あり画像生成における潜在空間の分離構造を可視化すること。
• 変分オートエンコーダー（VAE）とアルファロス正則化を統合することで、画像品質と分離性を向上させること。

提案手法

• CGANは、順方向ネットワークを用いて一連の潜在ベクトル $ z_1, z_2, ..., z_n $ を処理し、それぞれを独立した生成器に渡してRGBA画像 $ C_1, C_2, ..., C_n $ を生成する。
• 各生成器はアルファチャンネルを伴う部分画像を生成し、それらをアルファブレンドにより逐次結合することで、以前のコンテンツを保持しつつ新しいコンポーネントを重ね合わせる。
• 最終出力 $ O^{(n)} $ は $ C_1 $ から $ C_n $ をブレンドして得られ、識別器は本物の画像と合成出力の区別を学習する。
• CGAN+VAEは、画像から直接潜在コードを学習する変分オートエンコーダーを統合し、潜在空間における分離可能な部分多様体の可視化を可能にする。
• アルファロスは、ぼやけを低減し、特に複数の生成器を用いた設定において、中間生成部分の分離性を向上させる。
• 画像品質はSSIMを用いて評価され、生成サンプルと本物のテスト画像間の最大SSIMが指標として用いられる。

実験結果

リサーチクエスチョン

• RQ1 教師なしで、セマンティックコンポーネントを逐次生成することで、現実的で複雑な画像を生成できるか？
• RQ2 順次フレームワークにおける複数の潜在変数は、画像生成における分離可能な表現学習にどのように寄与するか？
• RQ3 VAEとCGANを統合することで、分類ラベルなしで潜在空間に意味のある部分多様体を明らかにできるか？
• RQ4 アルファブレンドとアルファロスは、中間画像部分の品質と分離性をどの程度向上させるか？
• RQ5 CGANの性能は、知覚的品質と構造的類似性の観点から、標準的なGANと比較してどの程度か？

主な発見

• CGANは、CelebA（n=2）で0.443 ± 0.075、CelebA（n=3）で0.443 ± 0.077のSSIMスコアを達成し、標準GAN（0.449 ± 0.077）と同等の知覚的品質を示した。
• CGAN+Aにおけるアルファロスの追加により、ぼやけが軽減され、特にCelebA（n=3）の3番目の生成器において中間部分の分離性が向上した。
• CGAN+VAEは、潜在空間における分離可能な部分多様体を成功裏に可視化し、$ z_1 $ が全体の構造を制御し、$ z_2, z_3, ... $ が条件付きで詳細を変更することを示した。
• ポロロ・カートゥーンデータセットでは、限られた学習データでも2つまたは3つの生成器を用いて、明確なキャラクターや背景を持つ画像をCGANが成功裏に生成した。
• 102 Flowersでは、2つの生成器を用いたCGANがSSIM 0.290 ± 0.069を達成し、細分化された画像生成タスクにおける有効性を示した。
• 本モデルは、画像コンポーネントの暗黙の因子分解を伴う反復的・部分ベースの合成によって、非教師ありで階層的な画像生成が可能であることを示した。