[論文レビュー] High-Quality Face Image SR Using Conditional Generative Adversarial Networks

Bin Huang, Weihai Chen+2 more|arXiv (Cornell University)|Jul 4, 2017

Advanced Image Processing Techniques参考文献 24被引用数 22

ひとこと要約

本稿では、境界均衡GAN（BEGAN）を用い、ランダムノイズの代わりに低分解能（LR）画像を条件として用いることで、高分解能（4倍）の顔画像をエンドツーエンドで生成する顔条件付き生成的対抗ネットワーク（FCGAN）を提案する。L1損失とスキップ接続を採用することで、顔の事前知識や前処理を一切用いず、最高水準のPSNR（32.42）と優れた視覚的品質を達成した。

ABSTRACT

We propose a novel single face image super-resolution method, which named Face Conditional Generative Adversarial Network(FCGAN), based on boundary equilibrium generative adversarial networks. Without taking any facial prior information, our method can generate a high-resolution face image from a low-resolution one. Compared with existing studies, both our training and testing phases are end-to-end pipeline with little pre/post-processing. To enhance the convergence speed and strengthen feature propagation, skip-layer connection is further employed in the generative and discriminative networks. Extensive experiments demonstrate that our model achieves competitive performance compared with state-of-the-art models.

研究の動機と目的

• 顔の特徴点やアライメントなどの顔の事前知識に依存しない、単一顔画像のエンドツーエンド超解像手法の開発。
• 生成をランダムノイズではなく低分解能入力画像に条件づけることで、境界均衡GAN（BEGAN）フレームワークを顔画像超解像に適応すること。
• 生成器および識別器ネットワークにスキップ層接続を適用することで、学習収束の向上と特徴量の伝搬を改善すること。
• 前処理・後処理ステップを一切用いず、CelebAデータセット上で高い視覚的品質と競争力のある定量的性能（PSNR）を達成すること。

提案手法

• 生成器ネットワークは、低分解能顔画像（$32\times32$）を入力とし、スキップ接続を備えたU-Net型アーキテクチャを用いて高分解能出力（$128\times128$）を生成する。
• 識別器ネットワークは、同じ低分解能入力に条件づけられた実際の高分解能画像と生成された高分解能画像を区別するように学習する。
• 訓練を安定化させ、知覚的品質を向上させるために、ピxls単位の$L_1$再構成損失を組み合わせた条件付きGAN損失を用いる。
• 標準的なGAN損失に勾配ペナルティ項を加えることで、生成器と識別器の均衡を保つ。これはBEGANフレームワークに従う。
• 生成器および識別器の両方にスキップ接続を適用し、特徴量の伝搬を向上させ、収束を加速する。
• 入力出力ペアはバイキュービックダウンサンプリングと補間を用いて作成され、CelebAデータセットを用いてエンドツーエンドで訓練される。

実験結果

リサーチクエスチョン

• RQ1 BEGANに基づく条件付きGANフレームワークは、顔の事前知識に依存せずに、低分解能入力から高品質な顔画像を生成できるか？
• RQ2 生成器をランダムノイズではなく低分解能画像に条件づけることで、生成された高分解能顔画像の品質と忠実度にどのような影響を与えるか？
• RQ3 スキップ接続と$L_1$損失は、顔超解像において収束速度と視覚的品質にどの程度向上効果をもたらすか？
• RQ4 定量的指標（PSNR）と定性的な画像品質の両面で、FCGANは最先端手法と比較してどの程度優れているか？
• RQ5 顔のアングル、表情、照明、遮蔽（メガネや帽子など）の変化に対しても、アライメントや前処理なしにモデルは一貫して頑健に一般化できるか？

主な発見

• FCGANはCelebAデータセットでPSNR 32.42を達成し、LapSRN（32.13）やFSRCNN（31.92）を上回る最先端の性能を示した。
• 視覚的比較では、バイキュービック補間、pix2pix、および他の最先端モデルと比較して、FCGANは顔の細部がよりシャープで、より現実的なテクスチャを生成した。
• モデルは、アングル、表情、照明、遮蔽（例：メガネや帽子）の変化に対しても、一貫して高品質な高分解能顔画像を生成した。
• スキップ接続の導入により、残差接続のない深層CNNと比較して、学習の収束速度と安定性が著しく向上した。
• 顔のアライメントや特徴点検出などの前処理を一切行わないが、性能の低下が生じず、条件付きGANアプローチの頑健性を示した。
• モデルは完全にエンドツーエンドであり、外部の事前知識や後処理を一切必要とせず、1回の順伝播で低分解能入力から高分解能画像を直接生成した。