[論文レビュー] Conformal Surface Morphing with Applications on Facial Expressions

Mei-Heng Yueh, Xianfeng Gu+3 more|arXiv (Cornell University)|Apr 1, 2015

Advanced Numerical Analysis Techniques参考文献 16被引用数 3

ひとこと要約

本稿では、リーマン共形写像とモビウス変換を用いて、滑らかで特徴を保持する3次元顔の表情変化を実現する共形的表面モーフィング手法を提案する。共形要因と平均曲率を用いた表面パラメータ化と、統一された測地的メッシュ上での3次スプラインホモトピーを採用することで、元のフレーム数の10%未満で、幾何学的・テクスチャ的正確性を維持した高精細なモーフィングを実現した。

ABSTRACT

Morphing is the process of changing one figure into another. Some numerical methods of 3D surface morphing by deformable modeling and conformal mapping are shown in this study. It is well known that there exists a unique Riemann conformal mapping from a simply connected surface into a unit disk by the Riemann mapping theorem. The dilation and relative orientations of the 3D surfaces can be linked through the Möbius transformation due to the conformal characteristic of the Riemann mapping. On the other hand, a 3D surface deformable model can be built via various approaches such as mutual parameterization from direct interpolation or surface matching using landmarks. In this paper, we take the advantage of the unique representation of 3D surfaces by the mean curvatures and the conformal factors associated with the Riemann mapping. By registering the landmarks on the conformal parametric domains, the correspondence of the mean curvatures and the conformal factors for each surfaces can be obtained. As a result, we can construct the 3D deformation field from the surface reconstruction algorithm proposed by Gu and Yau. Furthermore, by composition of the Möbius transformation and the 3D deformation field, the morphing sequence can be generated from the mean curvatures and the conformal factors on a unified mesh structure by using the cubic spline homotopy. Several numerical experiments of the face morphing are presented to demonstrate the robustness of our approach.

研究の動機と目的

• 顔の表情遷移中に顔の特徴と幾何学的整合性を保持する、強固な3次元表面モーフィング技術の開発。
• 共形パラメータ化を活用して、異なるトポロジーを持つ高歪みの3次元表面同士の一致を解決する。
• 計算コストとデータサイズを低減しつつ、高解像度の3次元モーフィングシーケンスを維持する。
• 単一の統一メッシュを用いて、モーフィングシーケンス全体で幾何学的およびテクスチャ情報の効率的補間を可能にする。
• 変形モデルとエネルギー最小化原理を統合することで、物理的に妥当なモーフィングを実現し、リアルさを向上させる。

提案手法

• 単純連結な3次元表面を一意に単位円板に共形的にパラメータ化するために、リーマン写像定理を用いる。
• ソース表面とターゲット表面の共形的パラメータ化を一致させるために、モビウス変換を用いる。これにより最適な対応関係が保証される。
• 特徴点から構築された測地的メッシュを単一のメッシュとして用い、補間のための統一パラメトリックドメインを構築する。
• 各表面を共形要因 λ と平均曲率 H で表現し、パラメトリックドメイン内での3次スプラインホモトピーにより補間を実現する。
• Gu-Yau 表面再構成アルゴリズムを適用し、補間された (H, λ) データから3次元の中間フレームを生成する。
• マルチグリッド法による加速を組み込んだ非線形反復再構成アルゴリズムを導入し、効率性とマルチスケール出力を向上させる。

実験結果

リサーチクエスチョン

• RQ1 非等長な顔面の3次元表面間で、共形写像をどのように活用すれば安定的で滑らかな3次元表面モーフィングを実現できるか？
• RQ2 高歪みの3次元顔メッシュ間で、幾何学的・テクスチャ的正確性を保持しつつ、特徴の対応関係を最適に確立する方法は何か？
• RQ3 測地的パスから導出された単一の統一メッシュは、複雑な顔の表情の正確で効率的な補間を可能にするか？
• RQ4 3次元モーフィングシーケンスにおいて、視覚的品質を損なわずに、元のフレーム数の10%未満までフレーム数を削減できるか？
• RQ5 モビウス変換とプレート変形の組み合わせは、標準的な補間手法と比較して、どの程度モーフィングの正確性を向上させるか？

主な発見

• 最適なモビウス変換とグローバルマッチングを用いた場合、t=1.3 時に表面再構成誤差が55.01%改善された。
• t=1.4 時に、再構成された表面と実際の表面との間の L² 誤差は 1.3639×10⁻²、L∞ 誤差は 2.9274×10⁻³ であり、高い再構成正確性を示している。
• モーフィングシーケンスは局所的に滑らかであり、フレームの振動を防ぎ、安定したカメラパスを保証している。
• 本手法により、解像度や視覚的品質に損なわれることなく、データサイズを90%削減（元のフレーム数の10%のみ使用）した。
• 外挿実験では一貫した性能を示し、t=1.7 時に L² 誤差が 3.2057×10⁻² に増加したが、学習範囲外でも安定性が保証された。
• 本手法は、まぶたの閉じる動作、口を開ける動作、異性間の顔の変化（例えばライオンの頭部なども含む）を含む、リアルなモーフィングシーケンスを効果的に生成した。