[論文レビュー] Face Shape and Reflectance Acquisition using a Multispectral Light Stage

Abhishek Dutta|UPT. Syiah Kuala University Library (Syiah Kuala University)|May 18, 2011

Computer Graphics and Visualization Techniques参考文献 33被引用数 4

ひとこと要約

本稿では、顔面の幾何学的形状と反射率を高精度で捉えるためのマルチスペクトルライトステージを提示する。これにより、詳細な3次元形状と生体物理学的皮膚パラメータの推定が可能になる。本研究では、球面勾配光度ステレオ用の最小4枚画像セットを導入し、変形した拡散リーフの補正に二次計画法を用いる手法を提案することで、データ収集と計算コストを著しく削減するとともに、法線推定の品質を向上させる。

ABSTRACT

In this thesis, we discuss the design and calibration (geometric and radiometric) of a novel shape and reflectance acquisition device called the "Multispectral Light Stage". This device can capture highly detailed facial geometry (down to the level of skin pores detail) and Multispectral reflectance map which can be used to estimate biophysical skin parameters such as the distribution of pigmentation and blood beneath the surface of the skin. We extend the analysis of the original spherical gradient photometric stereo method to study the effects of deformed diffuse lobes on the quality of recovered surface normals. Based on our modified radiance equations, we develop a minimal image set method to recover high quality photometric normals using only four, instead of six, spherical gradient images. Using the same radiance equations, we explore a Quadratic Programming (QP) based algorithm for correction of surface normals obtained using spherical gradient photometric stereo. Based on the proposed minimal image sets method, we present a performance capture sequence that significantly reduces the data capture requirement and post-processing computational cost of existing photometric stereo based performance geometry capture methods. Furthermore, we explore the use of images captured in our Light Stage to generate stimuli images for a psychology experiment exploring the neural representation of 3D shape and texture of a human face.

研究の動機と目的

• 高解像度の顔面幾何学的形状とマルチスペクトル反射率を捉えることが可能なマルチスペクトルライトステージの設計とキャリブレーションを目的とする。
• 相互反射や遮蔽によって生じる光度ステレオにおける変形した拡散および鏡面反射リーフの問題に対処することを目的とする。
• 必要な画像枚数を最小限に抑えることで、パフォーマンス幾何学的形状の収集におけるデータ収集と計算コストを削減することを目的とする。
• 3次元形状とテクスチャ知覚に関する心理学実験用の高品質なスティムリ画像データセットを生成することを目的とする。
• 光度法線とマルチスペクトルデータを用いて、顔面幾何学的形状の正確なアライメントと再構成を可能とすることを目的とする。

提案手法

• 勾配照明を近似するため、分割されたイコサヘドロン上に配置された41個のLEDを用いて球面照明環境を設計する。
• 拡散および鏡面反射率の分離のため、偏光ビームスプリッターとデュアルカメラセットアップを実装し、同時にクロス偏光画像を捉える。
• 非理想的な条件下での拡散および鏡面反射率をモデル化するため、修正された放射率方程式を勾配照明および定常照明に適用する。
• 6枚の画像からなる標準的手法に比べ、4枚の画像のみで光度法線を回復できる最小画像セット法を提案する。
• 変形した反射リーフに起因する不一致を最小化することで、表面法線を補正する二次計画法（QP）最適化フレームワークを構築する。
• パフォーマンスキャプチャのため、勾配画像と補完勾配画像を共通のトラッキングフレームに登録するため、共同光度アライメントを適用する。

実験結果

リサーチクエスチョン

• RQ1 最小4枚の画像セットを用いて、球面勾配光度ステレオで高品質な光度法線推定を達成できるか？
• RQ2 変形した拡散および鏡面反射リーフは、光度ステレオにおける表面法線回復の精度にどのように影響を与えるか？
• RQ3 二次計画法に基づく最適化は、非理想的な照明および反射率モデルに起因する表面法線誤差を効果的に補正できるか？
• RQ4 提案手法は、パフォーマンス幾何学的形状キャプチャにおけるデータ収集および計算コストをどの程度削減できるか？
• RQ5 収集されたマルチスペクトル反射率および光度法線データを用いて、神経科学的実験用の知覚的に妥当なスティムリを生成できるか？

主な発見

• 最小画像セット法は、6枚の画像を用いる標準的手法に比べ33％のデータ収集量削減を達成しながら、高品質な光度法線を回復できた。
• QPベースの法線補正法は、変形した拡散リーフに起因する不一致を是正することで、法線推定の品質を向上させたが、6本の式と9つの未知数のため、システムは依然として未定義（underconstrained）である。
• クロス偏光画像による拡散および鏡面反射率の分離は、ミラー・ボールやスニーカーボールなどの標準テストオブジェクトを用いた実験で、正確な分離が達成された。
• マルチスペクトルライトステージは22％の光透過効率で反射率マップを捉えることができ、これにより露出時間を延長する必要が生じ、将来的にはより多くのLEDと自動フィルターホイールの導入が求められる。
• 形状のみ、テクスチャのみ、形状とテクスチャの組み合わせの画像を含む生成されたスティムリ画像データセットは、3次元顔面特徴の神経応答を研究する心理学実験で成功裏に使用された。
• 最小画像セットに基づくパフォーマンスキャプチャシーケンスは、後処理の計算コストを削減し、改善されたアライメント安定性を実現するリアルタイムの幾何学的形状キャプチャを可能にした。