[논문 리뷰] Cascaded Regressor based 3D Face Reconstruction from a Single Arbitrary View Image.

Feng Liu, Dan Zeng외 2명|arXiv (Cornell University)|2015. 09. 21.

Face recognition and analysis참고 문헌 21인용 수 18

한 줄 요약

이 논문은 단일 임의의 시점 이미지에서 3D 얼굴 재구성을 위한 계단식 회귀자 접근법을 제안한다. 이는 2D 특징점에서 초기 3D 얼굴 모델로의 형태 조정을 직접 회귀함으로써 고비용 최적화를 피한다. 가시하지 않은 특징점을 결측 데이터로 간주함으로써 다양한 시점 각도에서 정확하고 효율적인 재구성을 달성하며, BFM 및 Bosphorus 데이터셋에서 기존 방법들을 능가한다.

ABSTRACT

State-of-the-art methods reconstruct three-dimensional (3D) face shapes from a single image by fitting 3D face models to input images or by directly learning mapping functions between two-dimensional (2D) images and 3D faces. However, they are often difficult to use in real-world applications due to expensive online optimization or to the requirement of frontal face images. This paper approaches the 3D face reconstruction problem as a regression problem rather than a model fitting problem. Given an input face image along with some pre-defined facial landmarks on it, a series of shape adjustments to the initial 3D face shape are computed through cascaded regressors based on the deviations between the input landmarks and the landmarks obtained from the reconstructed 3D faces. The cascaded regressors are offline learned from a set of 3D faces and their corresponding 2D face images in various views. By treating the landmarks that are invisible in large view angles as missing data, the proposed method can handle arbitrary view face images in a unified way with the same regressors. Experiments on the BFM and Bosphorus databases demonstrate that the proposed method can reconstruct 3D faces from arbitrary view images more efficiently and more accurately than existing methods.

연구 동기 및 목표

• 전면 얼굴 이미지가 필요하거나 고비용의 온라인 최적화를 수반하는 기존 3D 얼굴 재구성 방법의 한계를 해결한다.
• 통합된 회귀 프레임워크를 사용해 다양한 시점 각도에서 강력한 3D 얼굴 재구성을 가능하게 한다.
• 큰 시점 각도에서 보이지 않는 얼굴 특징점을 결측 데이터로 모델링하여 처리하는 데서 발생하는 과제를 극복한다.
• 실제 환경에서 제약 조건이 없는 환경에 배포하기에 효율적이고 정확한 방법을 개발한다.

제안 방법

• 모델 피팅 작업이 아닌 회귀 문제로 3D 얼굴 재구성을 공식화하고, 계단식 회귀자를 사용해 반복적으로 3D 형태를 정밀하게 조정한다.
• 기본 모델로 캐논리컬 모델을 초기화하고, 2D 입력 특징점과 투영된 3D 특징점 간의 편차에 기반해 형태 조정을 적용한다.
• 다양한 시점 각도에서의 3D 얼굴 데이터셋과 해당 2D 이미지를 기반으로 사전에 계단식 회귀자를 학습한다.
• 비전각 또는 가림을 입은 특징점을 회귀 과정에서 결측 데이터로 간주하여 재구성 과정의 일관성을 유지한다.
• 모든 시점 각도에서 동일한 회귀자 세트를 사용하여, 시점별 적응이 필요 없는 통합 추론을 가능하게 한다.
• 2D 특징점과 3D 얼굴 모델 간의 기하학적 일관성을 활용해 반복적인 3D 형태 정밀 조정을 이끈다.

실험 결과

연구 질문

• RQ1 계단식 회귀 프레임워크는 전면 이미지가 필요 없이 단일 임의의 시점 이미지에서 정확한 3D 얼굴 재구성을 달성할 수 있는가?
• RQ2 보이지 않는 특징점을 결측 데이터로 모델링할 경우, 큰 시점 각도에서 재구성의 견고성과 정확도에 어떤 영향을 미치는가?
• RQ3 온라인 최적화 없이 사전에 학습된 회귀자가 다양한 시점 각도로 일반화되는 정도는 어느 정도인가?
• RQ4 기존의 모델 피팅 및 직접 매핑 접근법과 비교해 본 논문의 방법은 정확도와 효율성 면에서 어떤가?

주요 결과

• 제안된 방법은 BFM 및 Bosphorus 데이터베이스 양쪽에서 최신 기술보다 더 높은 재구성 정확도를 달성한다.
• 고비용의 온라인 최적화가 필요 없이 효율적인 3D 얼굴 재구성을 가능하게 하여 실시간 응용에 적합하다.
• 보이지 않는 특징점을 결측 데이터로 간주함으로써, 단일 통합 회귀자 세트로도 다양한 시점 각도에서 일관된 성능을 유지한다.
• 계단식 회귀자 프레임워크는 2D 특징점 편차에 기반한 지속적인 정밀 조정을 통해 형태 오차를 효과적으로 감소시킨다.
• 전통적 방법이 특징점 가림으로 인해 실패하기 쉬운 큰 시점 각도에서도 강건함을 보여준다.
• 사전 학습된 회귀자로 인해 추론 속도가 빨라져, 최적화 기반 접근법에 비해 런타임을 크게 줄였다.