[論文レビュー] High-resolution Deep Convolutional Generative Adversarial Networks

J. de Curtò, I. de Zarzà+3 more|arXiv (Cornell University)|Nov 17, 2017

Generative Adversarial Networks and Image Synthesis参考文献 47被引用数 25

ひとこと要約

本論文は、SELU活性化関数とバッチ正則化を組み合わせ、望遠鏡型の入力拡大メカニズム（Glasses）を導入することで、顔生成において最先端の性能を達成する高解像度の深層畳み込み生成対抗ネットワーク（HDCGAN）を提案する。512×512解像度のリアルな多様な顔を生成し、モード崩壊を最小限に抑え、CelebAでMS-SSIM 0.1978およびFID 8.44という新たな最先端性能を達成した。

ABSTRACT

Generative Adversarial Networks (GANs) [Goodfellow et al. 2014] convergence in a high-resolution setting with a computational constrain of GPU memory capacity has been beset with difficulty due to the known lack of convergence rate stability. In order to boost network convergence of DCGAN (Deep Convolutional Generative Adversarial Networks) [Radford et al. 2016] and achieve good-looking high-resolution results we propose a new layered network, HDCGAN, that incorporates current state-of-the-art techniques for this effect. Glasses, a mechanism to arbitrarily improve the final GAN generated results by enlarging the input size by a telescope ζ is also presented. A novel bias-free dataset, Curtó & Zarza, containing human faces from different ethnical groups in a wide variety of illumination conditions and image resolutions is introduced. Curtó is enhanced with HDCGAN synthetic images, thus being the first GAN augmented dataset of faces. We conduct extensive experiments on CelebA [Liu et al. 2015], CelebA-hq [Karras et al. 2018] and Curtó. HDCGAN is the current state-of-the-art in synthetic image generation on CelebA achieving a MS-SSIM of 0.1978 and a FRÉCHET Inception Distance of 8.44.

研究の動機と目的

• GPUメモリ制限下での高解像度画像生成におけるGANの不安定性と収束不良を解消すること。
• 高品質で多様な512×512顔画像を生成できるスケーラブルで安定したGANアーキテクチャの開発。
• 人種的・属性的多様性に富んだ、偏りのない顔データセット（Curtó & Zarza）を新たに導入し、GANの評価を強化すること。
• HDCGANで生成された合成画像を用いて、初めてのGAN増強顔データセットを構築すること。
• HDCGANが学習データに存在しない新しいリアルな顔サンプルを生成できることを示し、記憶化を回避できることを確認すること。

提案手法

• HDCGANは、SELU活性化関数とバッチ正則化（BS）層を組み合わせた深層畳み込みアーキテクチャを採用し、高解像度設定下での訓練安定性と収束性を向上させる。
• 低解像度から高解像度へ段階的に訓練するプログレッシブ成長戦略を用い、微細なディテールの学習を安定化させる。
• Glasses機構により、畳み込みフィルタを変更せずに、望遠鏡係数ζを用いて入力ノイズサイズを任意に拡大することで、生成画像品質の向上を実現する。
• 生成器と判別器はミニマックス損失を用いて敵対的に訓練され、訓練の安定化のためスペクトル正則化と重みクリッピングが適用される。
• モデルはCelebAおよびCelebA-HQで訓練され、評価はリサイズされた画像バージョンを用いたMS-SSIMとFréchet Inception Distance（FID）で実施される。
• 訓練済みのHDCGANから合成画像を生成し、Curtó & Zarzaデータセットに統合することで、GAN増強顔データセットを構築する。

実験結果

リサーチクエスチョン

• RQ1 GANアーキテクチャは、最小限のモード崩壊と高い知覚的品質を実現しながら、安定して512×512解像度の顔生成を達成できるか？
• RQ2 SELUとバッチ正則化の組み合わせは、深層畳み込みGANにおける訓練安定性と収束性をどのように向上させるか？
• RQ3 入力ノイズサイズを望遠鏡係数で拡大するGlasses機構は、生成画像の品質と多様性をどの程度向上させるか？
• RQ4 HDCGANは、学習データに存在しない新しいリアルな顔サンプルを生成でき、かつそれらが記憶化されていないことをどのように検証できるか？
• RQ5 HDCGANで生成された画像で拡張されたCurtó & Zarzaデータセットは、顔生成におけるGANの評価に向け、強力で偏りのないベンチマークとして機能するか？

主な発見

• CelebA 128×128解像度において、HDCGANはMS-SSIM 0.1978を達成し、先行SOTA手法（例：Karras et al. [2018]：0.2838）を顕著に上回った。
• CelebA 64×64解像度において、HDCGANはFréchet Inception Distance（FID）8.44を達成し、先行SOTA（Karras et al. [2018]：16.3）を上回った。
• モデルは高精細で多様かつリアルな512×512顔画像を生成でき、訓練の進行に伴い失敗事例が減少し、わずかなアーチファクトしか示さなかった。
• 最近傍解析により、生成サンプルが学習データから記憶化されていないことが確認され、それらの最近傍は学習データ内では明確に異なることが示された。
• Curtó & ZarzaデータセットにHDCGANで生成された4,239枚の画像を追加した結果、属性多様性に富み、バランスの取れた表現を持つ、初めてのGAN増強顔データセットが構築された。
• Glasses機構により、入力ノイズサイズのスケーリングによって一貫した品質向上が実現され、アーキテクチャの変更なしに高解像度生成が可能であることが示された。