[논문 리뷰] Conformal Surface Morphing with Applications on Facial Expressions

Mei-Heng Yueh, Xianfeng Gu외 3명|arXiv (Cornell University)|2015. 04. 01.

Advanced Numerical Analysis Techniques참고 문헌 16인용 수 3

한 줄 요약

이 논문은 3차원 얼굴 표정에 대해 리만 등각 매핑과 모비우스 변환을 사용하여 매끄럽고 특징을 유지하는 전환을 보장하는 등각 표면 모핑 기법을 제안한다. 등각 인자와 평균 곡률을 통해 표면을 매개변수화하고, 통합된 지오데식 메쉬에서 삼차 스퍼링 호모토피를 적용함으로써 기하학적 및 질감 정확성을 유지하면서도 10% 적은 프레임으로 고해상도의 모핑을 달성한다.

ABSTRACT

Morphing is the process of changing one figure into another. Some numerical methods of 3D surface morphing by deformable modeling and conformal mapping are shown in this study. It is well known that there exists a unique Riemann conformal mapping from a simply connected surface into a unit disk by the Riemann mapping theorem. The dilation and relative orientations of the 3D surfaces can be linked through the Möbius transformation due to the conformal characteristic of the Riemann mapping. On the other hand, a 3D surface deformable model can be built via various approaches such as mutual parameterization from direct interpolation or surface matching using landmarks. In this paper, we take the advantage of the unique representation of 3D surfaces by the mean curvatures and the conformal factors associated with the Riemann mapping. By registering the landmarks on the conformal parametric domains, the correspondence of the mean curvatures and the conformal factors for each surfaces can be obtained. As a result, we can construct the 3D deformation field from the surface reconstruction algorithm proposed by Gu and Yau. Furthermore, by composition of the Möbius transformation and the 3D deformation field, the morphing sequence can be generated from the mean curvatures and the conformal factors on a unified mesh structure by using the cubic spline homotopy. Several numerical experiments of the face morphing are presented to demonstrate the robustness of our approach.

연구 동기 및 목표

• 얼굴 표면의 특징과 기하학적 무결성을 유지하면서 얼굴 표정 전환 과정에서 안정적인 3차원 표면 모핑 기법을 개발한다.
• 다른 토폴로지를 가진 고도로 변형된 3차원 표면 간의 매칭 문제를 등각 매개변수화를 통해 해결한다.
• 고해상도 3차원 모핑 시퀀스를 유지하면서 계산 비용과 데이터 크기를 줄인다.
• 단일 통합 메쉬를 사용하여 기하학적 및 질감 정보의 효율적인 보간을 가능하게 한다.
• 변형 모델과 에너지 최소화 원리를 통합함으로써 물리적 타당성을 도입하여 모핑의 현실감을 향상시킨다.

제안 방법

• 단순 연결된 3차원 표면을 단위 원판으로 유일하게 등각 매개변수화하기 위해 리만 매핑 정리를 활용한다.
• 소스 및 타겟 표면의 등각 매개변수화를 정렬하기 위해 모비우스 변환을 적용하여 최적의 대응 관계를 확보한다.
• 특징점에서 유도된 단일 지오데식 기반 메쉬를 구축하여 보간을 위한 통합 매개변수 도메인으로 활용한다.
• 각 표면을 등각 인자 λ와 평균 곡률 H로 표현하고, 매개변수 도메인에서 삼차 스퍼링 호모토피를 통해 보간한다.
• 구-와우 표면 복원 알고리즘을 적용하여 보간된 (H, λ) 데이터에서 3차원 중간 프레임을 생성한다.
• 다중 격자 방법으로 가속화된 비선형 반복 복원 알고리즘을 도입하여 효율성과 다중 해상도 출력을 향상시킨다.

실험 결과

연구 질문

• RQ1 비등장적인 얼굴 표면 간에 안정적이고 매끄러운 3차원 표면 모핑을 달성하기 위해 등각 매핑을 어떻게 활용할 수 있는가?
• RQ2 고도로 변형된 3차원 얼굴 메쉬 간에 기하학적 및 질감 정확성을 유지하면서 최적의 특징 대응을 확보하는 가장 효과적인 방법은 무엇인가?
• RQ3 지오데식 경로에서 유도된 단일 통합 메쉬가 복잡한 얼굴 표정의 정확하고 효율적인 보간을 가능하게 할 수 있는가?
• RQ4 3D 모핑 시퀀스에서 시각적 품질을 손상시키지 않고도 원본 프레임의 10%로도 프레임 수를 줄일 수 있는가?
• RQ5 모비우스 변환과 펄스판 변형의 조합이 표준 보간 방법에 비해 모핑 정확도를 얼마나 향상시키는가?

주요 결과

• 최적의 모비우스 변환과 전역 매칭을 사용할 경우, t=1.3에서 표면 복원 오차가 55.01% 향상된다.
• t=1.4에서 재구성된 표면과 실제 표면 간의 L² 오차는 1.3639×10⁻²이며, L∞ 오차는 2.9274×10⁻³로 나타나 높은 복원 정확도를 보인다.
• 모핑 시퀀스는 조각별로 매끄럽고, 화면 진동을 방지하며 안정적인 카메라 경로를 보장한다.
• 이 방법은 원본 프레임의 10%만 사용함으로써 데이터 크기를 90% 줄였지만 해상도나 시각적 품질에 손상이 없었다.
• 외삽 실험 결과, L² 오차가 t=1.7에서 3.2057×10⁻²로 증가했지만 일관된 성능을 보이며 학습 범위를 초월한 안정성을 입증했다.
• 눈 깜빡임, 입 열기, 이성간 얼굴 전환을 포함한 비인간 얼굴(사자 머리 등)까지도 현실적인 모핑 시퀀스를 성공적으로 생성했다.