[論文レビュー] Hair-GANs: Recovering 3D Hair Structure from a Single Image

Meng Zhang, Youyi Zheng|arXiv (Cornell University)|Nov 15, 2018

Computer Graphics and Visualization Techniques参考文献 26被引用数 6

ひとこと要約

Hair-GANs は、2次元画像1枚から3次元ヘア構造を回復するための GAN ベースのアーキテクチャを提案する。3次元ボリュームフィールドを用いてヘアの占有状態と方向を符号化し、次元拡張層を備えた条件付き GAN と adversarial 学習を採用。ピxls単位および潜在空間の損失を併用することで、未学習のヘアスタイルに対しても高精細でビュー一貫性のあるヘアモデルを実現する。

ABSTRACT

We introduce Hair-GANs, an architecture of generative adversarial networks, to recover the 3D hair structure from a single image. The goal of our networks is to build a parametric transformation from 2D hair maps to 3D hair structure. The 3D hair structure is represented as a 3D volumetric field which encodes both the occupancy and the orientation information of the hair strands. Given a single hair image, we first align it with a bust model and extract a set of 2D maps encoding the hair orientation information in 2D, along with the bust depth map to feed into our Hair-GANs. With our generator network, we compute the 3D volumetric field as the structure guidance for the final hair synthesis. The modeling results not only resemble the hair in the input image but also possesses many vivid details in other views. The efficacy of our method is demonstrated by using a variety of hairstyles and comparing with the prior art.

研究の動機と目的

• 単一視点からの 3次元ヘアモデリングの課題に対処すること。この課題は深さの手がかりが欠落しており、しばしば大規模なデータベースやグリーディなリtrieval手法に依存する。
• 従来のデータ駆動型およびオートエンコーダー手法の制限を克服すること。これらの手法は結果を例示形状に制限し、ぼやけや一般化性能の低さを引き起こす。
• マルチビュー入力や外部データベースを必要とせず、2次元から3次元への直接的な、知覚的に正確なマッピングを学習する深層生成モデルを構築すること。
• adversarial 学習と潜在空間の監視を活用することで、3次元ヘアの詳細性とビュー間の一貫性を向上させること。
• 重いデータベース依存を回避することで、モバイルおよび VR/AR アプリケーションに適した効率的でリアルタイムの推論を可能にすること。

提案手法

• 本手法は、2次元ヘアの方向マップとブัสの深度マップを入力として、ヘアの占有状態とストランド方向を符号化する3次元ボリュームフィールドを生成する条件付き GAN フレームワークを採用する。
• 2次元特徴マップのシーケンスを1チャンネルの3次元特徴マップに変換するための次元拡張層を導入し、2次元 CNN から3次元推論を可能にする。
• 生成器は、ボクセルレベル出力における L2 損失と、選択された識別器層における特徴分布の類似性に基づく知覚的損失を組み合わせたハイブリッド損失を用いて訓練される。
• adversarial 学習では、識別器が本物の3次元フィールドと生成されたフィールドを区別できないようにすることで、現実的で詳細な構造を促進する。
• ネットワークは2次元入力画像、パースドヘアマスク、およびブัสの深度マップに条件付けられており、ヘアの成長に深さの事前知識を提供する。
• 3次元ボリュームフィールドを生成した後、ヘアストランドトレーシング手法により高幾何的忠実度の3次元ヘアモデルが合成される。

実験結果

リサーチクエスチョン

• RQ1 大規模な事前学習済みヘアデータベースに依存せずに、1枚の2次元画像から3次元ヘア構造を効果的に推定できる GAN ベースのアーキテクチャは構築可能か？
• RQ2 2次元畳み込み特徴を、深さと方向情報を保持する3次元ボリューム表現に効果的に変換する方法は何か？
• RQ3 潜在空間の監視を伴う adversarial 学習は、標準的な L2 損失やオートエンコーディング損失と比較して、生成された3次元ヘアモデルの知覚的品質と構造的詳細を向上させられるか？
• RQ4 モデルは、学習データに存在しない未確認のヘアスタイルにもどの程度一般化できるか？
• RQ5 本手法は、入力画像とは遠く離れた視点に対しても一貫性があり、高品質なヘアモデルを生成できるか？

主な発見

• 提案された Hair-GANs は、複雑で未学習のヘアスタイルに対しても、細部が豊かでビュー間で一貫性のある高知覚的品質の3次元ヘアモデルを生成する。
• データ準備に3秒未塔、3次元フィールド生成に約1秒、全ヘア合成に30秒未塔の推論時間を達成し、リアルタイムアプリケーションに適している。
• ベースラインの WGAN-GP や L2 損失学習と比較して、提案された目的関数は著しくノイズやぼやけを低減し、よりシャープで現実的なボリュームフィールドを生成する。
• Chai ら [1]、Saito ら [12]、Zhou ら [11] といった先行手法と比較して、ヘアの輪郭と方向フィールドの両方において優れた一致を達成しており、特に非正面視点で顕著である。
• ボリューム出力は、投影マスクおよび方向マップにおいて、真値と強い整合性を示しており、正確な構造再構築を示している。
• 本手法は、カールやロングヘアを含む多様なヘアスタイルに良好に一般化され、事前学習済みデータベースからのリtrieval を必要としない。