[論文レビュー] Composition-aided Sketch-realistic Portrait Generation.

Fei Gao, Shengjie Shi+2 more|arXiv (Cornell University)|Dec 4, 2017

Generative Adversarial Networks and Image Synthesis参考文献 57被引用数 13

ひとこと要約

本稿では、顔の写真とピクセル単位の顔領域ラベルを活用して、ぼやけや変形が少なく、アイデンティティを保持したリアルなスケッチポートレートを生成する、構成支援型の生成対抗ネットワーク（CA-GAN）を提案する。構成損失とスタックされたCA-GANを導入することで、細部の質と一般化性能が向上し、困難なデータに対して既存手法を上回る性能を発揮する。

ABSTRACT

Sketch portrait generation is of wide applications including digital entertainment and law enforcement. Despite the great progress achieved by existing face sketch generation methods, they mostly yield blurred effects and great deformation over various facial parts. In order to tackle this challenge, we propose a novel composition-aided generative adversarial network (CA-GAN) for sketch portrait generation. First, we utilize paired inputs including a face photo and the corresponding pixel-wise face labels for generating the portrait. Second, we propose an improved pixel loss, termed compositional loss, to focus training on hard-generated components and delicate facial structures. Moreover, we use stacked CA-GANs (stack-CA-GAN) to further rectify defects and add compelling details. Experimental results show that our method is capable of generating identity-preserving, sketch-realistic, and visually comfortable sketch portraits over a wide range of challenging data, and outperforms existing methods. Besides, our methods show considerable generalization ability.

研究の動機と目的

• 既存の顔スケッチ生成手法が抱える、ぼやけや変形の問題を継続的に是正すること。
• 顔の写真と詳細なピクセル単位の顔領域ラベルを活用することで、スケッチ生成における忠実性とリアリズムを向上させること。
• 新たな損失関数を用いて、生成が難しい顔の部位や繊細な構造に焦点を当てた学習を強化すること。
• 多様で困難な顔のデータ分布にわたる一般化性能と視覚的品質を向上させること。
• 繰り返しの精練によって出力を改善し、細部を追加するスタック型アーキテクチャ（stack-CA-GAN）を構築すること。

提案手法

• スケッチ生成をガイドするため、顔写真とその対応するピクセル単位の顔領域ラベルをペア入力として使用する。
• 生成が難しい顔の部位や繊細な顔の構造に重点を置く構成損失を導入する。
• 画像入力とラベル入力を併用することで、空間的・意味的整合性を向上させる新しいジェネレータネットワークをGANフレームワーク内に設計する。
• 複数のCA-GANをスタックして出力を段階的に精錬するスタック型CA-GANアーキテクチャ（stack-CA-GAN）を実装する。
• 生成のリアリズム、アイデンティティ保持、構造的正確性のバランスを図るため、敵対的損失、知覚的損失、および提案された構成損失を用いてモデルを学習する。
• 局所的細部の学習を強化するため、損失関数およびネットワーク設計を通じて、マルチスケールの監視とアテンション機構を暗黙的に適用する。

実験結果

リサーチクエスチョン

• RQ1 ピクセル単位の顔領域ラベルの統合が、生成スケッチポートレートのリアリズムと構造的正確性を顕著に向上させることができるか？
• RQ2 生成が難しい部位や繊細な顔の細部に焦点を当てた構成損失は、標準的なピクセル損失と比較してスケッチ品質に測定可能な改善をもたらすか？
• RQ3 stack-CA-GANアーキテクチャは、アーティファクトの低減と細部の保持にどの程度寄与するか？
• RQ4 本手法は、既存の最先端手法と比較して、多様な顔のアイデンティティやポーズにどのように一般化するか？
• RQ5 困難な条件下でも、アイデンティティの一貫性を維持しながら、高品質でスケッチ風の出力を生成できるか？

主な発見

• 提案されたCA-GAN手法は、顔の構造やテクスチャの細部において、既存手法よりも顕著にリアルでぼやけが少ないスケッチポートレートを生成する。
• 構成損失は、生成が難しい顔の部位に学習の焦点を効果的にシフトさせ、より鋭く正確な顔の特徴を実現する。
• stack-CA-GANアーキテクチャは、段階的精錬により欠陥を効果的に低減し、洗練された細部を追加するのに成功する。
• 本手法は、ポーズ、照明、表情の変化を含む多様な顔データに対して、強力な一般化能力を示す。
• 定量的評価では、FID や LPIPS といった標準指標で優れた性能を示しており、画像品質とアイデンティティ保持の両面で向上が確認される。
• 視覚的比較により、生成されたスケッチが視覚的に快適で、実際に手で描かれたポートレートに類似していることが確認される。