[論文レビュー] Cali-Sketch: Stroke Calibration and Completion for High-Quality Face Image Generation from Poorly-Drawn Sketches

Weihao Xia, Yujiu Yang+1 more|arXiv (Cornell University)|Nov 1, 2019

Generative Adversarial Networks and Image Synthesis参考文献 64被引用数 11

ひとこと要約

Cali-Sketch は、スケッチのストローク補正と画像生成を分離することで、不正確なスケッチから写真のようにリアルな顔画像を生成する二段階手法を提案する。ストローク補正ネットワーク（SCN）により、意図を保ちつつストロークを精緻化し、詳細を豊かにし、その後画像生成ネットワーク（ISN）により高精細な写真を生成する。この手法は、リアルさと忠実度において最先端の手法を上回る性能を発揮する。

ABSTRACT

Image generation task has received increasing attention because of its wide application in security and entertainment. Sketch-based face generation brings more fun and better quality of image generation due to supervised interaction. However, When a sketch poorly aligned with the true face is given as input, existing supervised image-to-image translation methods often cannot generate acceptable photo-realistic face images. To address this problem, in this paper we propose Cali-Sketch, a poorly-drawn-sketch to photo-realistic-image generation method. Cali-Sketch explicitly models stroke calibration and image generation using two constituent networks: a Stroke Calibration Network (SCN), which calibrates strokes of facial features and enriches facial details while preserving the original intent features; and an Image Synthesis Network (ISN), which translates the calibrated and enriched sketches to photo-realistic face images. In this way, we manage to decouple a difficult cross-domain translation problem into two easier steps. Extensive experiments verify that the face photos generated by Cali-Sketch are both photo-realistic and faithful to the input sketches, compared with state-of-the-art methods

研究の動機と目的

• 不正確でずれたスケッチから写真のようにリアルな顔画像を生成する課題に対処すること。
• 入力スケッチが真の顔の構造から著しく逸脱している場合の画像品質と忠実度を向上させること。
• 複雑な画像間変換タスクを、ストローク補正と画像生成という二つの管理しやすい段階に分離すること。
• 顔の構造の意図を保ちながら、顔の詳細とアライメントを向上させること。

提案手法

• 不正確なスケッチのストロークのずれを補正し、顔の詳細を豊かにするストローク補正ネットワーク（SCN）を導入する。
• SCN は、ストロークの幾何学的形状を精緻化するとともに、元のスケッチの構造的意図を保持し、細粒度の顔特徴を追加する。
• 画像生成ネットワーク（ISN）により、補正済みスケッチを写真のようにリアルな顔画像に変換する。
• 二つのネットワークは逐次的に訓練され、SCN が ISN が最終画像を生成する前に入力スケッチを補正する。
• 困難なドメイン間変換を二つのより簡単なサブタスクに分離することで、訓練の安定性と出力品質が向上する。
• このフレームワークにより、生成画像と元のスケッチの意図された顔構造との間の整合性が向上する。

実験結果

リサーチクエスチョン

• RQ1 ストローク補正は、画像生成の前段階で、不正確なスケッチの顔特徴の品質を向上させることができるか？
• RQ2 エンドツーエンド手法と比較して、二段階ネットワークアーキテクチャは、写真のリアルさと忠実度をどの程度効果的に向上させることができるか？
• RQ3 元のスケッチの意図を保つことで、生成された顔画像のリアルさはどの程度向上するか？
• RQ4 ストローク補正と画像生成を分離することで、同時に最適化する手法よりも性能が向上するか？

主な発見

• Cali-Sketch は、視覚的にリアルで、入力スケッチの元の意図を忠実に再現する写真のようにリアルな顔画像を生成する。
• ストローク補正ステップにより、低品質なスケッチにおける顔特徴のアライメントと詳細の豊かさが顕著に向上する。
• 二段階アプローチは、不正確なスケッチからの高精細な顔画像生成において、最先端の手法を上回る性能を発揮する。
• 広範な実験により、Cali-Sketch が入力スケッチとの構造的一致性を維持しながら、リアルなテクスチャーや顔の詳細を生成することが確認された。