[論文レビュー] DeepSketchHair: Deep Sketch-based 3D Hair Modeling

Yuefan Shen, Changgeng Zhang+3 more|arXiv (Cornell University)|Aug 20, 2019

Computer Graphics and Visualization Techniques参考文献 51被引用数 5

ひとこと要約

DeepSketchHair は、2次元スケッチから高品質でストランドレベルの3Dヘアモデルを生成するためのディープラーニングフレームワークを提案する。3つのGANベースのネットワーク（S2ONet：2次元方向場予測、O2VNet：深度ガイダンス付き3次元ベクトル場生成、V2VNet：マルチビュー編集）を用いる。ユーザーが指定したスケッチに基づき、直感的でインタラクティブな3次元ヘアモデリングが可能であり、多様なスタイルにおいてリアルで詳細なヘアスタイルを実現する。

ABSTRACT

We present sketchhair, a deep learning based tool for interactive modeling of 3D hair from 2D sketches. Given a 3D bust model as reference, our sketching system takes as input a user-drawn sketch (consisting of hair contour and a few strokes indicating the hair growing direction within a hair region), and automatically generates a 3D hair model, which matches the input sketch both globally and locally. The key enablers of our system are two carefully designed neural networks, namely, S2ONet, which converts an input sketch to a dense 2D hair orientation field; and O2VNet, which maps the 2D orientation field to a 3D vector field. Our system also supports hair editing with additional sketches in new views. This is enabled by another deep neural network, V2VNet, which updates the 3D vector field with respect to the new sketches. All the three networks are trained with synthetic data generated from a 3D hairstyle database. We demonstrate the effectiveness and expressiveness of our tool using a variety of hairstyles and also compare our method with prior art.

研究の動機と目的

• 専門的なスキルを要しない、直感的でインタラクティブな 2次元スケッチからの 3次元ヘアモデリングを可能にすること。
• 既存の画像ベース手法が自由なユーザー設計や編集をサポートできないという限界を克服すること。
• ディープラーニングを活用して、スパarsな 2次元入力からリアルなストランドレベルのヘアを生成することで、3次元ヘアモデリングの複雑さを軽減すること。
• 異なる視点からの新しいスケッチを用いて 3次元ベクトル場を更新することで、マルチビュー編集を可能にすること。
• 3次元ヘア生成における使いやすさ、表現力、幾何的忠実度のバランスを取ったシステムを構築すること。

提案手法

• S2ONet は、GANベースのピクセル対ピクセル変換ネットワークであり、ヘアの輪郭と方向スティルからなる 2次元スケッチを、密な 2次元ヘア方向場に変換する。
• O2VNet は、もう一つの GAN ベースのネットワークであり、3次元ボディモデルの深度マップを空間ガイダンスとして用いて、2次元方向場を 3次元ベクトル場にマッピングする。
• 得られた 3次元ベクトル場を用いて、物理的シミュレーションに類似した方法でリアルなストランドレベルのヘアジオメトリを生成する。
• V2VNet は、異なる視点からの新しい 2次元スケッチに基づいて 3次元ベクトル場を更新するボクセル対ボクセル変換を実行することで、マルチビュー編集を可能にする。
• すべてのネットワークは、3次元ヘアスタイルデータベースから生成された合成データ上で訓練されており、多様性と一般化性を確保する。
• 補助ツールにより、生成されたヘアモデルの微調整が可能になり、ユーザーのコントロール性が向上する。

実験結果

リサーチクエスチョン

• RQ1 ディープラーニングベースのシステムは、最小限の 2次元スケッチ入力から高品質でストランドレベルの 3次元ヘアモデルを生成できるか？
• RQ2 GAN ベースのネットワークは、スパースなユーザー描画ストロークから密な 2次元ヘア方向場をどれほど効果的に予測できるか？
• RQ3 深度ガイダンス付き GAN を用いて、2次元方向場から正確に 3次元ベクトル場を再構築できるか？
• RQ4 マルチビューの 2次元スケッチをどれほど効果的に用いて、リアルタイムで 3次元ヘアモデルを反復的に修正・編集できるか？
• RQ5 投影損失やラプラシアン損失といった損失関数は、生成された 3次元ヘアフィールドのリアリズムと滑らかさをどの程度向上させるか？

主な発見

• アブレーションスタディにおいて、S2ONet は平均二乗誤差（MSE）4.01 を達成し、ラプラシアン拡散法（6.98）やランダム選択法（6.60）といったベースライン手法を著しく上回った。
• 投影損失とラプラシアン損失を組み合わせた O2VNet は、MSE が同程度でも、より滑らかで真値に近い 3次元方向場を生成した。
• アブレーションスタディの結果、O2VNet に全損失関数を適用したモデルは、これらの損失が欠落したモデルと比較して、よりリアルなカールや方向の一貫性を示した。
• V2VNet は、Delanoy 他 [37] の手法よりも、以前のビューからの特徴をよりよく保持し、マスク領域を正確に埋める能力に優れていた。
• 本システムは、ウェーブ、カール、ざらついた、滑らかな形状を含む複雑なヘアスタイルを成功裏に生成し、広範な表現力を示した。
• 制限事項として、解像度が固定であり、トレーニングデータにそのようなスタイルが欠落しているため、高密度ヘアスタイル（例：アフロ）の細部のモデリングに困難を示した。