[論文レビュー] Landmark Weighting for 3DMM Shape Fitting

Yu Yanga, Xiaojun Wu+1 more|arXiv (Cornell University)|Aug 16, 2018

Face recognition and analysis参考文献 19被引用数 6

ひとこと要約

本論文は、個々のランドマークの推定誤差に基づいて2D-3Dランドマーク対応を適応的に重み付けすることで、再構築精度を向上させる新しい3DMM形状適合手法を提案する。従来の手法がすべてのランドマークを同等に扱うのに対し、本手法は信頼性の高いランドマークに高い重みを割り当て、誤差を意識した最適化により適合誤差を低減し、3D顔モデルの本物らしさを向上させる。

ABSTRACT

Human face is a 3D object with shape and surface texture. 3D Morphable Model (3DMM) is a powerful tool for reconstructing the 3D face from a single 2D face image. In the shape fitting process, 3DMM estimates the correspondence between 2D and 3D landmarks. Most traditional 3DMM fitting methods fail to reconstruct an accurate model because face shape fitting is a difficult non-linear optimization problem. In this paper we show that landmark weighting is instrumental to improve the accuracy of shape reconstruction and propose a novel 3D Morphable Model Fitting method. Different from previous works that treat all landmarks equally, we take into consideration the estimated errors for each pair of 2D and 3D corresponding landmarks. The landmark points are weighted in the optimization cost function based on these errors. Obviously, these landmarks have different semantics because they locate on different facial components. In the context of the solution of fitting is approximated, there are deviations in landmarks matching. However, these landmarks with different semantics have different effects on reconstructing 3D faces. Thus, it is necessary to consider each landmark individually. To our knowledge, we are the first to analyze each feature point for 3D face reconstruction by 3DMM. The weight is adaptive with the estimation residuals of landmarks. Experimental results show that the proposed method significantly reduces the reconstruction error and improves the authenticity of the 3D model expression.

研究の動機と目的

• 3DMM適合における非線形最適化の影響により生じる不正確な3D顔再構築の課題に対処すること。
• 従来の3DMM手法がすべてのランドマークを同等に扱う一方で、意味的および信頼性の差を無視していることの認識。
• ランドマーク固有の推定誤差をモデル化し、それに応じて重みを適応的に調整することで、形状適合の精度を向上させること。
• ランドマークの意味的特性とマッチングずれが3D顔再構築品質に与える影響を調査すること。
• 再構築忠実度を向上させるために、最適化コスト関数に新しい適応的重み付け方式を提案すること。

提案手法

• 3DMM形状適合最適化プロセスにランドマーク重み付け機構を導入する。
• 各2D-3Dランドマーク対応の残差誤差を推定し、その信頼性を評価する。
• 個々の推定残差に基づいて、コスト関数におけるランドマークに適応的重みを割り当てる。
• 標準的な3DMM最適化目的関数を修正し、マッチング不確実性が低いランドマークを優先するようにする。
• ランドマークの重みを適合中に動的に調整する非線形最適化フレームワークを用いる。
• 顔のランドマーク間の意味的差異（例：鼻先と目頭）を重み付け戦略に反映する。

実験結果

リサーチクエスチョン

• RQ1 ランドマークを均等に扱わないことで、3DMM適合における3D顔再構築精度にどのような影響を与えるか？
• RQ2 推定誤差に基づく適応的ランドマーク重み付けが、3DMM形状適合性能を向上させられるか？
• RQ3 ランドマークの意味的特性とマッチングずれが再構築品質に与える影響は何か？
• RQ4 誤差を意識した重み付けは、一様な重み付けと比較して再構築誤差とリアルリズムの両面で優れているか？
• RQ5 提案手法は、適合誤差を低減しつつ、自然な顔の表情を3D顔モデルに保持できるか？

主な発見

• 提案されたランドマーク重み付け手法は、ベースラインの3DMM適合手法と比較して、顕著に3D顔再構築誤差を低減した。
• 推定残差に基づく適応的重み付けにより、より正確でリアルな3D顔モデルが得られた。
• マッチング不確実性が大きいランドマークは自然に低重み化され、最適化への影響が軽減された。
• 顔の幾何学的形状と表情の詳細をよりよく保持することで、モデルの本物らしさが向上した。
• 実験結果から、複数のベンチマークデータセットで一貫した性能向上が確認された。
• 本手法は、意味的および誤差に基づく基準に従って個々のランドマークを明示的に分析・重み付けする最初のアプローチである。