[論文レビュー] SketchHairSalon: Deep Sketch-based Hair Image Synthesis

Chufeng Xiao, Yu Deng+3 more|arXiv (Cornell University)|Sep 16, 2021

Generative Adversarial Networks and Image Synthesis参考文献 40被引用数 5

ひとこと要約

SketchHairSalon は、二段階のディーブラーニングフレームワークを提案し、二値マスクや方向マップを必要とせずに、自由な色付きスケッチからリアルな髪の画像を直接生成する。自己注意機構と新規のスケッチ-マット-画像の三つ組データセットを活用することで、複雑な髪の構造と滑らかな境界の合成が向上し、定性的および定量的評価において既存手法を上回る性能を発揮する。

ABSTRACT

Recent deep generative models allow real-time generation of hair images from sketch inputs. Existing solutions often require a user-provided binary mask to specify a target hair shape. This not only costs users extra labor but also fails to capture complicated hair boundaries. Those solutions usually encode hair structures via orientation maps, which, however, are not very effective to encode complex structures. We observe that colored hair sketches already implicitly define target hair shapes as well as hair appearance and are more flexible to depict hair structures than orientation maps. Based on these observations, we present SketchHairSalon, a two-stage framework for generating realistic hair images directly from freehand sketches depicting desired hair structure and appearance. At the first stage, we train a network to predict a hair matte from an input hair sketch, with an optional set of non-hair strokes. At the second stage, another network is trained to synthesize the structure and appearance of hair images from the input sketch and the generated matte. To make the networks in the two stages aware of long-term dependency of strokes, we apply self-attention modules to them. To train these networks, we present a new dataset containing thousands of annotated hair sketch-image pairs and corresponding hair mattes. Two efficient methods for sketch completion are proposed to automatically complete repetitive braided parts and hair strokes, respectively, thus reducing the workload of users. Based on the trained networks and the two sketch completion strategies, we build an intuitive interface to allow even novice users to design visually pleasing hair images exhibiting various hair structures and appearance via freehand sketches. The qualitative and quantitative evaluations show the advantages of the proposed system over the existing or alternative solutions.

研究の動機と目的

• ユーザーが提供する二値マスクの必要性を排除すること。これは作業が煩雑で、柔らかい髪の境界を制限する要因となる。
• 方向マップの代わりに色付きスケッチを直接入力として用いることで、うねり、編み込み、隠れ毛などの複雑な髪の構造をより良くモデル化すること。
• 初心者ユーザーが最小限の努力で多様でリアルなヘアスタイルを直感的な自由なスケッチで作成できるシステムの開発。
• 髪のスティック間の長距離依存関係を扱うために、ネットワークの両段階に自己注意モジュールを統合すること。
• 将来的な研究を支援するため、髪の構造と外観を手動でアノテートした 1,000 組以上のアノテート済みスケッチ-マット-画像ペアで構成される新規データセットの公開。

提案手法

• 二段階のフレームワーク：まず、スケッチからマットを生成するスケッチ-マットネットワークが、色付きスケッチ（非髪スティックをオプションで含む）から柔らかい髪のマットを生成し、髪領域の定義のあいまいさを低減する。
• 次に、スケッチと生成されたマットを入力として用い、スケッチからフォトリアリスティックな髪の画像を合成するスケッチ-イメージネットワークが動作する。色付きスティックが局所的な外観を制御する。
• 両ネットワークに自己注意モジュールを統合し、髪のスティック間の長距離依存関係をモデル化することで、一貫性と隠れ関係のモデリングが向上する。
• 二種類のスケッチ自動補完戦略を導入：繰り返しパターン（例：編み込み）の補完用と、欠落した髪スティックのセグメント補完用。これにより、ユーザーの入力負荷が軽減される。
• 髪の構造と外観の手動アノテーションを備えた、1,000 組以上のスケッチ-マット-画像三つ組の新規データセットを構築。
• 生成のリアルさと構造的忠実度を確保するため、 adversarial loss と perceptual loss を用いてフレームワークを訓練する。

実験結果

リサーチクエスチョン

• RQ1 二値マスクや方向マップを必要とせず、自由な色付きスケッチのみで髪の構造、外観、形状を効果的に伝えることができるか？
• RQ2 深層ネットワークは、一貫性のあるうねりや隠れ関係を保つために、髪スティック間の長距離依存関係をどのようにモデル化できるか？
• RQ3 標準的な畳み込み層と比較して、自己注意機構は複雑な髪の構造の合成をどのように改善できるか？
• RQ4 スケッチ自動補完は、視覚的品質を維持しつつ、どれほどユーザーの作業負荷を軽減できるか？
• RQ5 本手法は、定量的および定性的に、従来のスケッチベースの髪合成手法と比較して、どの程度優れているか？

主な発見

• 本手法は、特に隠れ毛や重ねられたうねりを伴う複雑なヘアスタイルにおいて、定性的および定量的評価の両面で、既存のスケッチベースの髪合成手法を顕著に上回る。
• アブレーションスタディの結果、自己注意モジュールを除去すると、粗い、一貫性のない結果となり、うねりの整合性が悪く、誤った隠れ関係が生じることが判明。これにより、自己注意モジュールの必要性が裏付けられた。
• 非髪スティックを条件入力として含めることで、重複する特徴がある複雑なシーンでもマット生成の正確性が向上する。
• スケッチ自動補完機構は、編み込みや長大なスティックなど繰り返しパターンにおいて、ユーザーの入力負荷を顕著に軽減する効果を示した。
• 提案されたデータセットにおける定量的評価では、フルモデルが比較対象のすべてのベースラインと比較して最高の FID と LPIPS スコアを達成しており、画像品質とリアリズムの優位性が示された。
• 本システムは、実際の髪の背景への拡散をよりよく再現する滑らかな髪の境界を効果的に生成でき、二値マスクベースのアプローチとは対照的である。