[論文レビュー] DeepFacePencil: Creating Face Images from Freehand Sketches

Yuhang Li, Xuejin Chen+4 more|arXiv (Cornell University)|Aug 31, 2020

Generative Adversarial Networks and Image Synthesis参考文献 17被引用数 14

ひとこと要約

本稿では、二重生成器と空間的注意プーリング（SAP）モジュールを備えた条件付き生成対抗ネットワークであるDeepFacePencilを提案する。このモデルは、空間的位置に応じてリアルリズムとスケッチの整合性のバランスを動的に調整することで、不器用な描画や変形したスティックを含む多様なスケッチスタイルに対しても、合成スケッチおよび実際の手書きスケッチの両方で、画像品質と耐障害性の面で既存手法を上回る、写真のようにリアルな顔画像を生成する。

ABSTRACT

In this paper, we explore the task of generating photo-realistic face images from hand-drawn sketches. Existing image-to-image translation methods require a large-scale dataset of paired sketches and images for supervision. They typically utilize synthesized edge maps of face images as training data. However, these synthesized edge maps strictly align with the edges of the corresponding face images, which limit their generalization ability to real hand-drawn sketches with vast stroke diversity. To address this problem, we propose DeepFacePencil, an effective tool that is able to generate photo-realistic face images from hand-drawn sketches, based on a novel dual generator image translation network during training. A novel spatial attention pooling (SAP) is designed to adaptively handle stroke distortions which are spatially varying to support various stroke styles and different levels of details. We conduct extensive experiments and the results demonstrate the superiority of our model over existing methods on both image quality and model generalization to hand-drawn sketches.

研究の動機と目的

• 多様なスティックスタイルや欠陥を含む手書きスケッチから、高品質で写真のようにリアルな顔画像を生成する課題に対処すること。
• エッジが整った合成スケッチで訓練された従来の画像対画像変換モデルは、スティックの歪みを含む実際の手書きスケッチに一般化できないという限界を克服すること。
• スティックの品質に応じて、スケッチの異なる領域で画像のリアルリズムとスケッチの整合性のバランスを動的に調整する手法を開発すること。
• 訓練データに変形したスケッチを組み込み、空間的に変化する歪みに対処するための学習可能な注意メカニズムを用いることで、モデルの一般化性能を向上させること。

提案手法

• 特徴の学習と耐障害性の向上を目的として、二重生成器を同時に訓練する戦略を採用する。
• 複数のプーリング操作を異なるカーネルサイズで適用することで、スティックのアライメントを緩和する、新しい空間的注意プーリング（SAP）モジュールを導入する。
• SAPモジュールは、複数の緩和されたスケッチ表現を、局所的なスティック品質と歪みに基づいて動的に重要度を割り当てる学習可能な空間的注意層で統合する。
• 注意重みは空間的位置ごとに計算され、不器用な領域ではリアルリズムを優先し、明確な領域では整合性を優先する。
• 写真のようにリアルで構造的一致性のある画像を保証するため、敵対的損失、知覚的損失、アイデンティティ損失の3要素を含む条件付きGANフレームワークでモデルを訓練する。
• 耐障害性を高めるために、訓練中にストロークオフセットが異なる変形スケッチを合成する。

実験結果

リサーチクエスチョン

• RQ1 深層学習モデルは、多様なスティックスタイルと一般化性を備えた手書きスケッチから、高精度で写真のようにリアルな顔画像を生成できるか？
• RQ2 入力スケッチに一貫性のないまたは歪んだスティックが含まれる場合、モデルは画像のリアルリズムとスケッチの整合性をどのようにバランスさせるか？
• RQ3 合成エッジマップで訓練されたモデルは、不規則なスティックパターンを示す実際の手書きスケッチにどの程度一般化できるか？
• RQ4 空間的に適応する注意メカニズムの統合により、低品質または変形したスケッチに対する性能が向上するか？

主な発見

• FIDおよびLPIPS指標による評価において、合成スケッチおよび実際の手書きスケッチの両方で、提案されたDeepFacePencilモデルはベースラインモデルを顕著に上回る画像品質を達成した。
• 専門家が描いたスケッチにおいても、ベースラインが変形スケッチで微調整された場合でさえ、本モデルはよりリアルなテクスチャと健全な顔貌構造を生成した。
• マウスで描かれた一般ユーザーのスケッチにおいても、本モデルは最小限のアーティファクトで高い視覚的品質を維持したのに対し、ベースラインモデルはぼやけた歪みのある結果を出力した。
• 本モデルは、大きなスティック変形（最大d=30）に対しても効果的に一般化し、アーティファクトのないリアルな画像を生成したが、ベースラインモデルは顔貌特徴に深刻な歪みを示した。
• 空間的注意プーリング（SAP）モジュールにより、リアルリズムと整合性のバランスを適応的に制御でき、信頼性の高いスケッチ領域では高い注意を払い、曖昧または歪んだ領域ではより強い正則化が施された。