[論文レビュー] High-Res Facial Appearance Capture from Polarized Smartphone Images

Dejan Azinović, Olivier Maury+3 more|arXiv (Cornell University)|Dec 2, 2022

Face recognition and analysis被引用数 4

ひとこと要約

本論文では、スマートフォンのカメラとフラッシュに偏光フィルターを装着することで、高解像度の顔面外観撮影を低コストで実現する手法を提案する。クロス偏光および平行偏光の動画シーケンスを撮影することで、拡散反射と鏡面反射を分離し、粗い段階から細かい段階への微分可能レンダリングパイプラインにより、4K解像度の拡散アルベド、鏡面ゲイン、法線マップの高精細再構成を可能にした。その結果、新しい視点や照明条件下でも写真のようにリアルな3次元顔面レンダリングが得られた。

ABSTRACT

We propose a novel method for high-quality facial texture reconstruction from RGB images using a novel capturing routine based on a single smartphone which we equip with an inexpensive polarization foil. Specifically, we turn the flashlight into a polarized light source and add a polarization filter on top of the camera. Leveraging this setup, we capture the face of a subject with cross-polarized and parallel-polarized light. For each subject, we record two short sequences in a dark environment under flash illumination with different light polarization using the modified smartphone. Based on these observations, we reconstruct an explicit surface mesh of the face using structure from motion. We then exploit the camera and light co-location within a differentiable renderer to optimize the facial textures using an analysis-by-synthesis approach. Our method optimizes for high-resolution normal textures, diffuse albedo, and specular albedo using a coarse-to-fine optimization scheme. We show that the optimized textures can be used in a standard rendering pipeline to synthesize high-quality photo-realistic 3D digital humans in novel environments.

研究の動機と目的

• 市販のスマートフォンと安価な偏光フィルターのみを用いて、高品質で写真のようにリアルな3次元顔面外観撮影を可能にすること。
• 従来のライトステージ装置の制限を克服し、最小限のハードウェア改造で1台のデバイスでの撮影に簡素化すること。
• 偏光を用いて拡散反射と鏡面反射の応答を分離し、アルベド、法線、鏡面マップの正確な再構成を可能にすること。
• テクスチャのシャープネスを向上させ、ぼやけを低減するために、粗い段階から細かい段階への微分可能レンダリング最適化戦略を開発すること。

提案手法

• スマートフォンのカメラレンズおよびフラッシュに偏光フィルターを装着し、撮影中に制御された偏光状態を実現すること。
• 暗室で2つの短い動画シーケンスを撮影：クロス偏光光（拡散反射を強調）と平行偏光光（鏡面応答を保持）のそれぞれを対象とする。
• 構造から運動による3次元復元（SfM）とマルチビューステレオ（MVS）を用いて顔面ジオメトリを再構成し、FLAMEパラメトリック顔モデルへの非剛性フィッティングにより一貫性のあるUVパラメータ化を確保すること。
• 2段階の光度最適化を実施：まずクロス偏光データから高解像度の拡散アルベドと初期法線マップを推定し、次に平行偏光ビューを用いて鏡面ゲインと最終法線マップを精緻化すること。
• ミップマップを用いた粗い段階から細かい段階への最適化を採用し、各解像度レベルで対応するUV空間のフォートプリントを持つピクセルのみを活用することで、テクスチャのシャープネスを維持すること。
• 方向性フラッシュ減衰、フレネル効果、環境光をモデル化する微分可能レンダラーを統合し、再構成精度を向上させること。

実験結果

リサーチクエスチョン

• RQ1 安価な偏光フィルターを装着したスマートフォンで、プロフェッショナルなライトステージシステムと同等の高解像度顔面テクスチャ再構成が可能か？
• RQ2 同位置にカメラと光源を配置した環境下で、偏光を用いた拡散反射と鏡面反射の分離は、消費者向け撮影においてどの程度有効か？
• RQ3 ミップマップベースの粗い段階から細かい段階への最適化は、直接の高解像度最適化と比較して、どの程度テクスチャのシャープネスを向上させるか？
• RQ4 方向性フラッシュ減衰やフレネル効果といったモデル化の仮定は、再構成外観の正確性にどの程度影響を与えるか？
• RQ5 得られたテクスチャは、標準のレンダリングパイプラインで利用可能であり、新しい照明条件や視点で写真のようにリアルな結果を生成できるか？

主な発見

• 本手法は、偏光フィルターを装着したスマートフォン2つの動画シーケンスのみで、4K解像度の拡散アルベド、鏡面ゲイン、法線マップの再構成を達成した。
• ミップマップを用いた粗い段階から細かい段階への最適化は、直接の高解像度最適化と比較して、ぼやけを顕著に低減し、テクスチャのシャープネスを著しく向上させた。
• 方向性フラッシュ減衰とフレネル効果を考慮した場合、再投影誤差が低く抑えられ、複数の視点でより正確な陰影再現が可能になった。
• 偏光を用いない全テクスチャの同時最適化では、鏡面情報が拡散テクスチャに漏れ込み、リアリズムが低下した。
• 全パイプラインの計算時間は約2.5時間（MVS処理に1時間）を要し、4096×4096解像度のテクスチャでGPUメモリ30GBを必要としたが、同じ入力条件下でNLT（10時間）やNextFace（6時間）を上回る処理速度を達成した。
• 再構成されたテクスチャはBlenderなどの標準レンダリングソフトウェアと互換性があり、下層散乱と新しい照明条件下でも写真のようにリアルなレンダリングを実現した。