[論文レビュー] CaricatureShop: Personalized and Photorealistic Caricature Sketching

Xiaoguang Han, Kangcheng Hou+5 more|arXiv (Cornell University)|Jul 24, 2018

Face recognition and analysis参考文献 30被引用数 12

ひとこと要約

この論文では、スケッチベースの3次元顔の誇張を用いて、ポートレート写真からパーソナライズされた写真のようなコマicsを生成する、初めてのインタラクティブシステムであるCaricatureShopを提示する。深層学習モデルを活用して2次元スケッチを3次元顔モデル上の頂点ごとのスケーリング要因にマッピングし、その後に3次元変形、テクスチャ再描画、深層学習ベースの詳細強化と再ライティングを施すことで、現行手法を上回るリアルさとアイデンティティ保持性を実現する高精細な結果を生成する。

ABSTRACT

In this paper, we propose the first sketching system for interactively personalized and photorealistic face caricaturing. Input an image of a human face, the users can create caricature photos by manipulating its facial feature curves. Our system firstly performs exaggeration on the recovered 3D face model according to the edited sketches, which is conducted by assigning the laplacian of each vertex a scaling factor. To construct the mapping between 2D sketches and a vertex-wise scaling field, a novel deep learning architecture is developed. With the obtained 3D caricature model, two images are generated, one obtained by applying 2D warping guided by the underlying 3D mesh deformation and the other obtained by re-rendering the deformed 3D textured model. These two images are then seamlessly integrated to produce our final output. Due to the severely stretching of meshes, the rendered texture is of blurry appearances. A deep learning approach is exploited to infer the missing details for enhancing these blurry regions. Moreover, a relighting operation is invented to further improve the photorealism of the result. Both quantitative and qualitative experiment results validated the efficiency of our sketching system and the superiority of our proposed techniques against existing methods.

研究の動機と目的

• ポートレート写真からパーソナライズされた写真のようなコマicsを生成するインタラクティブシステムの開発。
• スパarsな2次元スケッチ入力を、アイデンティティを保持したまま、密集的かつ非線形的な3次元顔の変形にマッピングする課題の解決。
• 3次元再描画中に生じる大きなメッシュ変形によるテクスチャのぼやけや陰影の不一致を克服すること。
• 3次元変形領域と非3次元領域（例：髪、背景）を滑らかに統合し、アーチファクトを回避すること。
• 深層学習ベースの詳細推定とグローバルな再ライティングによる写真のリアルさの向上。

提案手法

• 既存の3次元再構築技術を用いて2次元ポートレートから3次元顔モデルを再構築する。
• 2次元スケッチの編集を、2次元パラメトリック領域における画像対画像変換として扱う深層学習アーキテクチャを用いて、頂点ごとのスケーリング要因にマッピングする。
• 予測されたスケーリングフィールドに基づき、各頂点のラプラシアンをスケーリングすることで3次元メッシュ変形を適用する。
• 2次元ワープ（変形）と3次元テクスチャ付きモデルの再描画の両方を用いて2つの画像を生成する。
• 2つの画像を滑らかに融合し、境界アーチファクトを最小限に抑えることで最終出力を得る。
• 高周波数の詳細を推定するために、パッチベースで残差学習を行うPix2Pixネットワークを用いてぼやけたテクスチャ領域を強化する。
• 写真のリアルさを向上させるために、グローバルな照明最適化と再ライティングステップを適用する。

実験結果

リサーチクエスチョン

• RQ1 スパarsな2次元スケッチ入力を、コマics作成のための密集的かつ非線形的な3次元顔変形に効果的にマッピングする方法は何か？
• RQ2 2次元スケッチと3次元頂点ごとの誇張要因との間の複雑で非線形なマッピングを、強固に学習できる深層学習アーキテクチャは何か？
• RQ3 大きなメッシュ変形によって生じる3次元再描画画像におけるテクスチャのぼやけを、効果的に軽減する方法は何か？
• RQ4 3次元変形された顔領域と非3次元領域（例：髪、背景）を統合する際、アーチファクトを最小限に抑える方法は何か？
• RQ5 深層学習ベースの再ライティングと詳細強化は、3次元再構築コマicsの写真のリアルさをどの程度向上させ得るか？

主な発見

• ラプラシアンとスケッチ特徴を2次元画像マップにフラット化し、残差ベースのPix2Pixネットワークを用いることで、提案された caricNet アーキテクチャは、誇張推定タスクにおいて最小のMSE（245.1）を達成し、caricNet-Vertex や caricNet-w/oTransform などの変種を上回る性能を示した。
• 顔の詳細強化にパッチベースで残差学習を行うアプローチを採用したことで、平均MSEが21.0にまで低下し、非残差ベースライン（27.1）を著しく上回った。これは、高周波数の詳細回復に有効であることを裏付けている。
• システムの最終出力は、naiveDeform や deepSketch2Face といったベースライン手法と比較して、質的評価において優れた写真のリアルさと立体感を実現した。
• アブレーションスタディの結果、スケッチ特徴のフラットニングとネットワーク内での特徴変換レイヤーの使用が性能向上に不可欠であることが確認された。特に、スケッチのフラットニングを省いたバージョン（caricNet-w/oSketchFlatten）はMSEが著しく高く（426.5）なった。
• 質的評価とユーザーの好みの比較から、顔のアイデンティティが大きな変形に対しても良好に保持されていることが検証された。
• 制限事項として、眼鏡などの顔の装飾品に歪みが生じやすく、グローバルな照明推定のため、複雑な照明環境下では課題が生じることがある。