[論文レビュー] FCC-GAN: A Fully Connected and Convolutional Net Architecture for GANs

Sukarna Barua, Sarah Erfani+1 more|arXiv (Cornell University)|May 7, 2019

Generative Adversarial Networks and Image Synthesis参考文献 30被引用数 23

ひとこと要約

本論文は、生成器および識別器の両方で深層全結合層およびプーリング層を畳み込みネットワークと統合した、FCC-GANと呼ばれる新しいGANアーキテクチャを提案する。これは、従来の畳み込み層のみを用いる設計に挑戦するものである。本手法は、サンプル品質、学習速度、安定性の向上を実現し、CIFAR-10、STL-10、CelebA、LSUNの4つのベンチマークデータセットにおいて、最先端のインセプションスコアとフレシェインセプション距離（FID）を達成した。FCC-GAN-Pは、すべての指標において標準のCNNベースのGANを上回った。

ABSTRACT

Generative Adversarial Networks (GANs) are a powerful class of generative models. Despite their successes, the most appropriate choice of a GAN network architecture is still not well understood. GAN models for image synthesis have adopted a deep convolutional network architecture, which eliminates or minimizes the use of fully connected and pooling layers in favor of convolution layers in the generator and discriminator of GANs. In this paper, we demonstrate that a convolution network architecture utilizing deep fully connected layers and pooling layers can be more effective than the traditional convolution-only architecture, and we propose FCC-GAN, a fully connected and convolutional GAN architecture. Models based on our FCC-GAN architecture learn both faster than the conventional architecture and also generate higher quality of samples. We demonstrate the effectiveness and stability of our approach across four popular image datasets.

研究の動機と目的

• GANが畳み込み層のみを用いるという一般的な仮定に挑戦すること。
• 標準の畳み込み層のみのアーキテクチャと比較して、深層全結合層およびプーリング層を組み込むことで、GANの性能が向上するかどうかを調査すること。
• アーキテクチャの革新を通じて、GANの訓練の安定性、サンプル品質、収束速度の向上を図ること。
• 提案されたアーキテクチャの有効性を、多様なデータセットおよび訓練設定において検証すること。

提案手法

• 生成器は、低次元のノイズベクトルを高次元の画像特徴表現にマッピングする深層全結合層を用い、その後に畳み込み層を介して最終的な画像を生成する。
• 識別器は、画像特徴を抽出するための畳み込み層を用い、その後に特徴を低次元空間にマッピングする深層全結合層を経て、最終的な分類を行う。
• ストライド付き畳み込み層の代わりに、識別器にプーリング層を用いることで、安定性と性能が向上した。
• 標準のGAN学習目的関数および最適化手法（RMSProp、SGD、ADAM）を用いて、複数のデータセットでアーキテクチャを評価した。
• バッチ正規化（BN）の影響を評価するため、バッチ正規化の有無を変えてのアブレーションスタディを実施した。
• 本手法は、CIFAR-10、STL-10、CelebA、LSUNの4つのベンチマークデータセットでテストされ、インセプションスコアおよびフレシェインセプション距離（FID）を指標として用いた。

実験結果

リサーチクエスチョン

• RQ1 標準の畳み込み層のみの設計と比較して、GANアーキテクチャに深層全結合層およびプーリング層を統合することで、サンプル品質および訓練の安定性が向上するか？
• RQ2 全結合層によるノイズから特徴へのマッピング、その後に畳み込み層による特徴から画像への生成という二段階の画像生成プロセスは、より優れた結果を生み出すか？
• RQ3 FCC-GANフレームワークにおいて、プーリング層の使用はストライド付き畳み込み層と比較して、訓練の安定性および性能にどのように影響するか？
• RQ4 バッチ正規化は、提案されたFCC-GANアーキテクチャの訓練ダイナミクスおよび出力品質にどのような影響を及えるか？
• RQ5 FCC-GANアーキテクチャは、多様なデータセットおよび最適化設定において一般化可能であり、優れた性能を維持できるか？

主な発見

• FCC-GAN-Pは、RMSProp最適化下でCIFAR-10において6.196の最高インセプションスコアを達成し、CNNベースラインの5.951を顕著に上回った。
• SGD最適化下では、FCC-GAN-Pはインセプションスコア4.896を達成したが、CNNモデルはスコア1.655に留まり完全に失敗した。これは、FCC-GAN-Pの優れた安定性を示している。
• FCC-GANアーキテクチャは、すべてのデータセットおよび最適化アルゴリズムにおいて、従来のCNNベースのGANよりも高速に収束した。
• アブレーションスタディの結果、識別器からバッチ正規化を削除すると性能が著しく低下したが、FCC-GAN-Pは依然として識別可能な画像を生成できた。これに対して、CNNベースラインはそのような能力を欠いていた。
• FCC-GAN-Pは、すべての実験において最低のフレシェインセプション距離（FID）を達成し、生成画像の忠実性および多様性の高さを示した。
• FCC-GANフレームワークにおいて、識別器にプーリング層を用いることで、ストライド付き畳み込み層よりも優れた訓練の安定性と性能が得られた。