[論文レビュー] Single-View Hair Reconstruction using Convolutional Neural Networks

Yi Zhou, Liwen Hu+5 more|arXiv (Cornell University)|Jun 19, 2018

Advanced Vision and Imaging被引用数 3

ひとこと要約

本論文では、2次元方向場を入力として受け取り、30,000本の均等に分布する髪の毛をリアルな衝突および可視性モデリングで生成する、畳み込みニューラルネットワークを用いたリアルタイムで深層学習ベースの単一視点3次元髪型再構成手法を提案する。本手法により、コン act な連続的なヘアスタイル表現と補間が可能となり、従来手法と比較して1,000倍の高速化を達成するとともに、合成データから実世界の画像へのドメイン適応により、実際のインターネット上の画像にも一般化可能である。

ABSTRACT

We introduce a deep learning-based method to generate full 3D hair geometry from an unconstrained image. Our method can recover local strand details and has real-time performance. State-of-the-art hair modeling techniques rely on large hairstyle collections for nearest neighbor retrieval and then perform ad-hoc refinement. Our deep learning approach, in contrast, is highly efficient in storage and can run 1000 times faster while generating hair with 30K strands. The convolutional neural network takes the 2D orientation field of a hair image as input and generates strand features that are evenly distributed on the parameterized 2D scalp. We introduce a collision loss to synthesize more plausible hairstyles, and the visibility of each strand is also used as a weight term to improve the reconstruction accuracy. The encoder-decoder architecture of our network naturally provides a compact and continuous representation for hairstyles, which allows us to interpolate naturally between hairstyles. We use a large set of rendered synthetic hair models to train our network. Our method scales to real images because an intermediate 2D orientation field, automatically calculated from the real image, factors out the difference between synthetic and real hairs. We demonstrate the effectiveness and robustness of our method on a wide range of challenging real Internet pictures and show reconstructed hair sequences from videos.

研究の動機と目的

• 大規模なヘアスタイルデータベースと最近傍探索に依存する最先端の髪型モデリング手法の非効率性と高コストなストレージ要件を解消すること。
• 制約のない単一画像から、高い幾何的忠実性と局所的な髪の毛の詳細を備えたリアルタイム3次元髪型再構成を可能にすること。
• 異なるスタイル間の自然な補間を可能にする、コンパクトで連続的なヘアスタイル表現を開発すること。
• 中間の2次元方向場を介して、合成データと実世界の画像の間のドメインギャップを埋めること。

提案手法

• 2次元スカルプのパラメータ化された表面に分布する髪の毛特徴を予測する、U-Netに類似したエンコーダ-デコーダ型のCNNアーキテクチャが、髪の毛画像の2次元方向場を処理する。
• ネットワークは、物理的に妥当な髪の毛の分布を確保し、交差を低減するために、衝突損失を組み込む。
• 各髪の毛の可視性は重み項としてモデル化され、可視領域に注目することで再構成精度を向上させる。
• エンドツーエンドの学習を可能にするために、大規模なレンダリング済み合成髪型モデルのデータセットを用いる。これにより、実画像への一般化が可能になる。
• 実画像から自動的に合成と実世界の髪の毛の外観差を要因分解する中間の2次元方向場が抽出される。
• エンコーダーからの連続的でコンパクトな表現により、学習済みのヘアスタイル間の自然な補間が可能になる。

実験結果

リサーチクエスチョン

• RQ1 深層学習モデルは、制約のない単一画像から30,000本の髪の毛の詳細な3次元幾何構造をリアルタイムに再構成できるか？
• RQ2 ニューラルネットワークは、自然な補間を可能にする、コンパクトで連続的なヘアスタイル表現をどのように学習するか？
• RQ3 物理的に妥当で、リアルな衝突と可視性を持つ髪の毛の配置を合成するために、どの損失関数が最も効果的か？
• RQ4 微調整なしで、合成データで学習したモデルが、実世界の画像にどの程度一般化できるか？
• RQ5 中間の2次元方向場の使用は、合成から実世界の髪の毛画像へのドメイン一般化をどの程度向上させるか？

主な発見

• 本手法はリアルタイム性能を達成し、最先端の検索ベースの手法と比較して1,000倍高速に30,000本の髪の毛を生成している。
• 衝突損失の導入により、髪の毛の交差を低減することで、再構成されたヘアスタイルの妥当性が顕著に向上した。
• 可視性に基づく重み付けにより、髪の毛が知覚的に見える領域に注目することで、再構成精度が向上した。
• モデルは、明るさやポーズの変化が激しい実世界のインターネット画像に対しても、強固に一般化可能である。
• 学習された潜在空間により、異なるヘアスタイル間の滑らかで自然な補間が可能となり、連続的で意味のある表現であることが示された。
• 中間の2次元方向場の使用により、再トレーニングなしに合成学習データから実画像への効果的なドメイン適応が可能になった。