[論文レビュー] Face Reflectance and Geometry Modeling via Differentiable Ray Tracing

Abdallah Dib, Gaurav Bharaj+4 more|arXiv (Cornell University)|Oct 3, 2019

Face recognition and analysis被引用数 5

ひとこと要約

本稿では、自己陰影を含む複雑な照明条件下でも顔の幾何学的形状（アイデンティティ、表情、ポーズ）、反射率（拡散・鏡面アルベド）、シーンの照明を明示的に分離する微分可能レイトレーシングフレームワークを提案する。パラメトリックな仮想ライトステージと微分可能モンテカルロレイトレーザーを活用することで、特に過光量領域でも鏡面反射や陰影を正確にモデル化しつつ、写真的一致損失のロバストな最適化が可能になる。

ABSTRACT

We present a novel strategy to automatically reconstruct 3D faces from monocular images with explicitly disentangled facial geometry (pose, identity and expression), reflectance (diffuse and specular albedo), and self-shadows. The scene lights are modeled as a virtual light stage with pre-oriented area lights used in conjunction with differentiable Monte-Carlo ray tracing to optimize the scene and face parameters. With correctly disentangled self-shadows and specular reflection parameters, we can not only obtain robust facial geometry reconstruction, but also gain explicit control over these parameters, with several practical applications. We can change facial expressions with accurate resultant self-shadows or relight the scene and obtain accurate specular reflection and several other parameter combinations.

研究の動機と目的

• 複雑な照明および自己陰影を伴う単眼画像からの3D顔の幾何学的形状再構築という課題に取り組む。
• 照明、反射率（拡散および鏡面アルベド）、顔の幾何学（アイデンティティ、表情、ポーズ）といったシーンパラメータを分離し、明示的な制御とロバストな最適化を可能にする。
• 従来の手法が自己陰影や鏡面反射を正しくモデル化できず、特に過光量ピクセル領域で失敗するという限界を克服する。
• Cook-Torrance BRDFを用いて物理的反射率を明示的にモデル化することで、正確な再照明と表情編集を実現する。
• 勾配ベースのバックプロパゲーションによる写真的一致損失のエンドツーエンド最適化を実現するため、微分可能レイトレーシングを活用する。

提案手法

• ヘミスフェア上にN個の固定された事前方向の面光源を配置したパラメトリック仮想ライトステージを用い、シーンの照明をモデル化し、光源の強度を学習可能なパラメータとする。
• Liら（2018）の微分可能モンテカルロレイトレーザーを採用し、レンダリングされたピクセルカラーの幾何学的形状、反射率、照明パラメータに関する勾配を計算する。
• Cook-Torrance BRDFを用いて反射率をモデル化し、拡散および鏡面アルベドを別々に扱い、32×32のベクトル化された鏡面テクスチャマップを含む。
• 顔の幾何学的形状を3次元モーファブルモデル（3DMM）で表現し、アイデンティティ（α ∈ ℝ⁸⁰）、表情（β ∈ ℝ⁹⁰）、剛体変換（R, t ∈ ℝ⁶）を用いる。
• データ適合性（写真的一致性）、統計的事前分布（E_prior）、光フラックス正則化（E_light）を組み合わせた複合損失を、段階的最適化により最適化する。
• 2段階の最適化戦略を導入：まず反射率と陰影を最適化し、その後照明と幾何学的形状を精緻化する。バックプロパゲーションは微分可能レンダラーを介して実行される。

実験結果

リサーチクエスチョン

• RQ1 微分可能レイトレーシングは、単眼3D顔再構築において顔の幾何学、反射率、照明を正確に分離可能か？
• RQ2 自己陰影と鏡面反射を明示的にモデル化することで、従来のラムベール的または球面調和関数ベースのモデルと比較して、過光量領域における再構築性能がどのように向上するか？
• RQ3 強い方向性照明や部分的遮蔽を伴う状況下でも、微分可能レイトレーザーは最適化の安定性と正確性をどの程度向上させるか？
• RQ4 物理的に妥当な陰影と鏡面反射をモデル化することで、再照明や表情編集といった実用的応用が可能か？
• RQ5 サンプリングノイズや皮膚における光の内部透過（サブサーフェススキャッタリング）の無視という点で、本手法の限界は何か？

主な発見

• 本手法は、顔の幾何学、反射率、照明を分離して再構築でき、強い方向性照明下でも鼻や頬周辺の自己陰影を正確に再現した3D顔を生成した。
• Cook-Torrance BRDFによる鏡面反射のモデル化と微分可能レイトレーシングの活用により、過光量ピクセル領域における鏡面反射や自己陰影の影響で生じる不自然な幾何学的変形を回避した。
• 段階的最適化戦略により、まず反射率と陰影を精緻化し、その後照明と幾何学的形状を最適化することで、最適化プロセスがロバストに収束した。
• 再照明実験では、シーンの照明を変更した際に鏡面ハイライトや陰影が正確に動的に更新されることが確認され、レンダリング出力の物理的妥当性が裏付けられた。
• 球面調和関数やラムベール的モデルを用いる従来手法と比較して、自己陰影と鏡面反射を明示的にモデル化することで、特に挑戦的な画像領域で優れた性能を示した。
• 限界として、低レイトレーザーのサンプリングレートではノイズが顕在し、皮膚の高透過性領域におけるサブサーフェススキャッタリングの欠如がリアリズムに影響を与えることが判明した。