[논문 리뷰] Landmark Weighting for 3DMM Shape Fitting

Yu Yanga, Xiaojun Wu외 1명|arXiv (Cornell University)|2018. 08. 16.

Face recognition and analysis참고 문헌 19인용 수 6

한 줄 요약

이 논문은 2D-3D 기준점 대응의 개별 추정 오차를 기반으로 가중치를 적응적으로 부여함으로써 복원 정확도를 향상시키는 새로운 3DMM 형태 피팅 방법을 제안한다. 기존 방법들이 모든 기준점을 동일하게 취급하는 것과 달리, 이 방법은 더 신뢰할 수 있는 기준점에 더 높은 가중치를 할당하여 피팅 오차를 줄이고 오차 인식 최적화를 통해 3D 얼굴 모델의 진정성과 정확도를 향상시킨다.

ABSTRACT

Human face is a 3D object with shape and surface texture. 3D Morphable Model (3DMM) is a powerful tool for reconstructing the 3D face from a single 2D face image. In the shape fitting process, 3DMM estimates the correspondence between 2D and 3D landmarks. Most traditional 3DMM fitting methods fail to reconstruct an accurate model because face shape fitting is a difficult non-linear optimization problem. In this paper we show that landmark weighting is instrumental to improve the accuracy of shape reconstruction and propose a novel 3D Morphable Model Fitting method. Different from previous works that treat all landmarks equally, we take into consideration the estimated errors for each pair of 2D and 3D corresponding landmarks. The landmark points are weighted in the optimization cost function based on these errors. Obviously, these landmarks have different semantics because they locate on different facial components. In the context of the solution of fitting is approximated, there are deviations in landmarks matching. However, these landmarks with different semantics have different effects on reconstructing 3D faces. Thus, it is necessary to consider each landmark individually. To our knowledge, we are the first to analyze each feature point for 3D face reconstruction by 3DMM. The weight is adaptive with the estimation residuals of landmarks. Experimental results show that the proposed method significantly reduces the reconstruction error and improves the authenticity of the 3D model expression.

연구 동기 및 목표

• 3DMM 피팅에서 비선형 최적화로 인한 정확도가 떨어지는 3D 얼굴 복원 문제를 해결한다.
• 기존 3DMM 방법들이 모든 기준점을 동일하게 취급하여 의미론적 및 신뢰성 차이를 忽시한다는 점을 인식한다.
• 기준점별 추정 오차를 모델링하고 이를 바탕으로 가중치를 적응적으로 조정함으로써 형태 피팅 정확도를 향상시킨다.
• 기준점의 의미론적 특성과 매칭 편차가 3D 얼굴 복원 품질에 미치는 영향을 조사한다.
• 복원 정밀도를 향상시키기 위해 최적화 목적 함수에 새로운 적응형 가중치 기반 방식을 제안한다.

제안 방법

• 3DMM 형태 피팅 최적화 과정에 기준점 가중치 기반 메커니즘을 도입한다.
• 각 2D-3D 기준점 대응의 잔차 오차를 추정하여 신뢰도를 평가한다.
• 개별 기준점의 추정 잔차에 기반해 비용 함수에 적응형 가중치를 할당한다.
• 표준 3DMM 최적화 목표 함수를 수정하여 매칭 불확실성이 낮은 기준점을 우선시한다.
• 기준점 가중치를 피팅 과정 중에 동적으로 조정할 수 있는 비선형 최적화 프레임워크를 사용한다.
• 얼굴 기준점 간의 의미론적 차이(예: 코 끝 vs. 눈 모서리)를 활용하여 가중치 전략을 설계한다.

실험 결과

연구 질문

• RQ1 기준점에 대한 비균형 처리가 3DMM 피팅에서 3D 얼굴 복원 정확도에 어떤 영향을 미치는가?
• RQ2 추정 오차 기반 적응형 기준점 가중치가 3DMM 형태 피팅 성능을 향상시킬 수 있는가?
• RQ3 기준점의 의미론적 특성과 매칭 편차가 복원 품질에 어떤 영향을 미치는가?
• RQ4 오차 인식 가중치는 균일 가중치 대비 복원 오차와 현실성 측면에서 어떻게 비교되는가?
• RQ5 제안된 방법은 피팅 오차를 줄이면서도 자연스러운 얼굴 표정을 유지할 수 있는가?

주요 결과

• 제안된 기준점 가중치 기반 방법은 기준 3DMM 피팅 방법 대비 3D 얼굴 복원 오차를 크게 감소시킨다.
• 추정 잔차 기반 적응형 가중치는 더 정확하고 현실적인 3D 얼굴 모델을 생성한다.
• 매칭 불확실성이 높은 기준점은 자연스럽게 가중치가 낮아져 최적화에 미치는 영향력이 감소한다.
• 모델의 진정성을 향상시키기 위해 얼굴 기하학적 구조와 표정 세부 정보를 더 잘 유지한다.
• 실험 결과 여러 벤치마크 데이터셋에서 일관된 성능 향상이 확인되었다.
• 본 방법은 의미론적 및 오차 기반 기준에 따라 개별 기준점을 명시적으로 분석하고 가중치를 조정하는 데 있어 최초의 접근이다.