[論文レビュー] Generative Adversarial Network based on Resnet for Conditional Image Restoration

Meng Wang, Huafeng Li+1 more|arXiv (Cornell University)|Jul 16, 2017

Generative Adversarial Networks and Image Synthesis参考文献 8被引用数 10

ひとこと要約

本稿では、画像復元タスクに残差学習（ResNet）を統合した条件付き生成対抗ネットワーク、ResGANを提案する。粗い画像とクラスラベルを条件入力とし、スキップ接続を用いて空間的特徴を保持することで、MNIST、CIFAR10/100、CelebAにおいて、より優れた画像品質と安定性を達成し、最先端のGANを上回る。

ABSTRACT

The GANs promote an adversarive game to approximate complex and jointed example probability. The networks driven by noise generate fake examples to approximate realistic data distributions. Later the conditional GAN merges prior-conditions as input in order to transfer attribute vectors to the corresponding data. However, the CGAN is not designed to deal with the high dimension conditions since indirect guide of the learning is inefficiency. In this paper, we proposed a network ResGAN to generate fine images in terms of extremely degenerated images. The coarse images aligned to attributes are embedded as the generator inputs and classifier labels. In generative network, a straight path similar to the Resnet is cohered to directly transfer the coarse images to the higher layers. And adversarial training is circularly implemented to prevent degeneration of the generated images. Experimental results of applying the ResGAN to datasets MNIST, CIFAR10/100 and CELEBA show its higher accuracy to the state-of-art GANs.

研究の動機と目的

• 画像復元における条件付きGAN（CGAN）の高次元条件の処理能力と、非効率な特徴学習の制限を克服すること。
• 深層ネットワークにおける特徴の劣化を避けるために、残差学習により粗い画像の特徴を保持することで、画像生成品質を向上させること。
• 分類器を判別器に埋め込むことで、条件付き監視による最適化のガイダンスを強化し、敵対的訓練の安定性と性能を向上させること。
• 多様なデータセットにおいて、ResNetアーキテクチャとGANを組み合わせた条件付き画像復元の有効性を評価すること。
• 残差接続と条件付き監視が、画像復元タスクにおける生成の忠実性と収束性をどのように向上させるかを実証すること。

提案手法

• 生成器は、粗い画像とクラスラベルを入力とし、スキップ接続を備えた残差ネットワーク（ResNet）アーキテクチャを用いて、低レベル特徴を深層部に直接伝搬する。
• 分類器を判別器に埋め込むことで、追加の監視信号を提供し、より良い最適化ガイダンスと向上した特徴学習を実現する。
• 敵対的訓練を円環的な形で実施し、生成過程におけるモード崩壊を防ぎ、画像品質を維持する。
• 生成器と判別器は、Wasserstein距離に基づく敵対的損失を最小化するように、交互に最小化・最大化ゲームとして訓練される。
• 生成器では逆畳み込み、判別器ではストライド畳み込みを用い、学習安定性を高めるためにバッチ正規化を適用する。
• 条件付き入力（クラスラベルと粗い画像）は、事前に分離したストリームに供給され、残差ブロックで統合される。これにより、特徴学習が効果的に誘導される。

実験結果

リサーチクエスチョン

• RQ1 残差学習は、画像復元タスクにおける条件付きGANの性能向上に寄与するか？
• RQ2 判別器に分類器を埋め込むと、生成画像の品質と安定性にどのような影響を与えるか？
• RQ3 スキップ接続は、画像復元のための深層生成ネットワークにおいて、空間的特徴をどの程度保持できるか？
• RQ4 提案されたResGANは、標準ベンチマークにおいて、損失と正確性の観点で最先端のGANを上回るか？
• RQ5 極めて粗い入力（例：極度に粗い画像）に対して、モデルはどの程度の性能を示すか？

主な発見

• MNISTデータセットにおいて、ResGANは全比較モデルの中で最小の訓練損失（1.98）と最大の正確性（0.938）を達成し、GAN、DCGAN、WGAN、CGANを上回った。
• CIFAR10では、損失2.97、正確性0.794を記録し、DCGAN（4.66/0.831）とWGAN（3.79/0.726）を上回った。
• CIFAR100では、損失6.55、正確性0.612を達成し、CGAN（7.23/0.473）とWGAN（7.98/0.384）を顕著に上回った。
• CelebAデータセットでは、損失10.57、正確性0.237を記録し、高次元の入力劣化にもかかわらず、複雑な顔の復元において強力な性能を示した。
• 視覚的結果から、ResGANは極めて粗い入力からでも細部を効果的に復元でき、すべてのデータセットで実際の画像に類似したリアルな出力を得た。
• アブレーション結果から、残差接続と分類器を埋め込んだ判別器の組み合わせが、特徴保持と学習安定性の両方を向上させることを確認した。