[論文レビュー] Composition-Aided Face Photo-Sketch Synthesis

Jun Yu, Shengjie Shi+3 more|arXiv (Cornell University)|Dec 4, 2017

Face recognition and analysis被引用数 7

ひとこと要約

本稿では、顔のキーポoinラベルと構成的再構成損失を用いて構造的リアリズムとアイデンティティの保持を向上させる、コンposition-aided生成対抗ネットワーク（CA-GAN）を提案する。この手法は最先端の性能を達成し、先行研究と比較してFIDを大幅に低減した。

ABSTRACT

Face photo-sketch synthesis aims at generating a facial sketch/photo conditioned on a given photo/sketch. It is of wide applications including digital entertainment and law enforcement. Precisely depicting face photos/sketches remains challenging due to the restrictions on structural realism and textural consistency. While existing methods achieve compelling results, they mostly yield blurred effects and great deformation over various facial components, leading to the unrealistic feeling of synthesized images. To tackle this challenge, in this work, we propose to use the facial composition information to help the synthesis of face sketch/photo. Specially, we propose a novel composition-aided generative adversarial network (CA-GAN) for face photo-sketch synthesis. In CA-GAN, we utilize paired inputs including a face photo/sketch and the corresponding pixel-wise face labels for generating a sketch/photo. In addition, to focus training on hard-generated components and delicate facial structures, we propose a compositional reconstruction loss. Finally, we use stacked CA-GANs (SCA-GAN) to further rectify defects and add compelling details. Experimental results show that our method is capable of generating both visually comfortable and identity-preserving face sketches/photos over a wide range of challenging data. Our method achieves the state-of-the-art quality, reducing best previous Frechet Inception distance (FID) by a large margin. Besides, we demonstrate that the proposed method is of considerable generalization ability. We have made our code and results publicly available: this https URL.

研究の動機と目的

• 既存の顔写真・スケッチ合成手法における構造的変形とぼやけ具合の問題に取り組む。
• 合成されたスケッチおよび写真におけるアイデンティティ保持とテクスチャの一貫性を向上させる。
• 顔の構成情報（例：キーポイントラベル）を活用して生成プロセスをガイドする。
• 困難な顔の部位と微細なディテールに焦点を当てたトレーニング戦略を開発する。
• 多様で挑戦的なデータに対して強い一般化能力を示す最先端の性能を達成する。

提案手法

• 顔の写真／スケッチとその対応するピクセル単位の顔のラベルマップをペア入力とする新しいCA-GANフレームワークを導入する。
• 困難な顔の部位や繊細な構造の正確な生成に重点を置く構成的再構成損失を設計する。
• スタックドCA-GAN（SCA-GAN）を用いて、段階的に生成画像を精錬し、微細なディテールを追加する。
• 視覚的リアリズムを向上させつつアイデンティティを保持するため、GANベースの敵対的損失を用いてモデルをトレーニングする。
• 合成過程における空間的アライメントと構造的正確性をガイドするため、顔のキーポイントに基づく監視を統合する。
• 敵対的損失、知覚的損失、構成的再構成損失の組み合わせでネットワークを最適化する。

実験結果

リサーチクエスチョン

• RQ1 顔の構成情報の統合が、顔写真・スケッチ合成におけるリアリズムとアイデンティティ保持に顕著に寄与するか？
• RQ2 構成的再構成損失が、顔の微細なディテールの生成を向上させ、構造的変形を低減するか？
• RQ3 スタックドCA-GANは、階層的な方法で欠陥を効果的に是正し、視覚的品質を向上させるか？
• RQ4 提案手法は、先行の最先端手法と比較して、多様で挑戦的な顔画像に対してどれほど一般化するか？
• RQ5 ピクセル単位の顔ラベルの使用は、追加のアノテーションを必要とせずに、合成品質をどの程度向上させるか？

主な発見

• 提案されたCA-GAN手法は、顔写真・スケッチ合成分野で最先端の性能を達成し、従来手法を著しく上回った。
• 最高の先行手法と比較して、Frechet Inception Distance（FID）を大幅に低減した。
• 合成されたスケッチおよび写真は高い視覚的快適性を示し、構造的リアリズムが向上し、ぼやけ具合が低減した。
• ポーズの変化や低品質な入力といった困難な状況下でも、アイデンティティの保持が効果的に行われた。
• スタックドCA-GAN（SCA-GAN）アーキテクチャは、階層的な精錬プロセスにおいて欠陥を効果的に是正し、説得力のある微細なディテールを追加した。
• 多様なデータセットおよび挑戦的な顔の構成に対して、顕著な一般化能力を示した。