[논문 리뷰] On 3D Face Reconstruction via Cascaded Regression in Shape Space

Feng Liu, Dan Zeng외 2명|arXiv (Cornell University)|2015. 09. 21.

Face recognition and analysis참고 문헌 34인용 수 8

한 줄 요약

이 논문은 외부 랜드마크 검출기로부터의 2D 랜드마크를 사용하여 단일 2D 이미지에서 3D 얼굴 재구성에 대한 계단식 회귀 방법을 제안한다. 이는 입력 이미지와 동일한 자세와 표정을 갖는 재구성을 가능하게 한다. 자동으로 검출된 랜드마크에 교란을 가한 상태에서 훈련시킴으로써, 상태의 기술(버진 3DFE에서 NPDE 2.03%)을 달성하며, 랜드마크 수와 3D 정점 밀도의 변화에 대해 강건한 수렴성과 일반화 성능을 보여준다.

ABSTRACT

Cascaded regression has been recently applied to reconstructing 3D faces from single 2D images directly in shape space, and achieved state-of-the-art performance. This paper investigates thoroughly such cascaded regression based 3D face reconstruction approaches from four perspectives that are not well studied yet: (i) The impact of the number of 2D landmarks; (ii) the impact of the number of 3D vertices; (iii) the way of using standalone automated landmark detection methods; and (iv) the convergence property. To answer these questions, a simplified cascaded regression based 3D face reconstruction method is devised, which can be integrated with standalone automated landmark detection methods and reconstruct 3D face shapes that have the same pose and expression as the input face images, rather than normalized pose and expression. Moreover, an effective training method is proposed by disturbing the automatically detected landmarks. Comprehensive evaluation experiments have been done with comparison to other 3D face reconstruction methods. The results not only deepen the understanding of cascaded regression based 3D face reconstruction approaches, but also prove the effectiveness of proposed method.

연구 동기 및 목표

• 2D 랜드마크 수가 3D 얼굴 재구성 정확도에 미치는 영향을 조사한다.
• 3D 정점 수와 형태 커버리지가 재구성 성능에 어떻게 영향을 주는지 분석한다.
• 독립형 자동 랜드마크 검출기와 계단식 회귀를 통한 3D 재구성 간의 통합을 가능하게 한다.
• 형태 공간 내 계단식 회귀의 수렴 행동과 계산 효율성에 대해 평가한다.
• 불완전한 랜드마크 검출을 사용할 경우의 강건성을 향상시키는 훈련 전략을 개발한다.

제안 방법

• 외부 검출기로부터의 2D 랜드마크를 입력으로 받을 수 있도록 [22]의 계단식 회귀 프레임워크를 수정함으로써, 입력 이미지의 자세와 표정을 유지한다.
• 두 단계의 계단식 회귀를 사용한다: 하나의 회귀기는 2D 랜드마크 위치를 업데이트하고, 다른 하나는 형태 공간 내 3D 형태 매개변수를 회귀한다.
• 훈련 중에 자동으로 검출된 랜드마크에 평균 0, 표준편차 σ=25인 가우시안 노이즈를 추가함으로써 데이터 증강 전략을 도입하여 강건성을 향상시킨다.
• 지표 랜드마크(제안 I)와 교란된 검출 랜드마크(제안 II)를 모두 사용하여 모델을 훈련시키며, 후자는 더 나은 일반화 성능을 보였다.
• 통계적 형태 모델(예: Basel Face Model)을 사용하여 3D 얼굴을 표현하고, 형태 매개변수를 회귀시켜 고밀도 3D 얼굴 기하 구조를 재구성한다.
• 정규화된 정점별 깊이 오차(NPDE)를 사용하여 재구성 오차를 측정한다. NPDE는 |z*ₙ - ẑₙ| / (z*ₘₐₓ - z*ₘᵢₙ)로 정의되며, 서로 다른 샘플 간 비교를 가능하게 한다.

실험 결과

연구 질문

• RQ1 2D 랜드마크 수가 3D 얼굴 재구성 정확도에 어떤 영향을 미치는가?
• RQ2 3D 정점 수와 재구성된 3D 얼굴의 공간 커버리지가 재구성 품질에 어떻게 영향을 주는가?
• RQ3 독립형 자동 2D 랜드마크 검출 방법이 계단식 회귀 기반 3D 얼굴 재구성에 효과적으로 통합될 수 있는가?
• RQ4 형태 공간 내 계단식 회귀의 수렴 행동은 어떠한가? 최적 성능을 얻기 위해 필요한 반복 수는 얼마인가?
• RQ5 훈련 중 자동으로 검출된 랜드마크에 교란을 가함으로써 강건성과 재구성 정확도가 향상되는가?

주요 결과

• 2D 랜드마크 수를 늘릴수록 일반적으로 재구성 정확도가 향상되지만, 얼굴 구성 요소별로 수익률이 다르며, 코와 눈에서 가장 큰 기여를 한다.
• 추가 랜드마크 없이 3D 얼굴 모델이 더 많은 얼굴 영역을 커버할 경우 재구성 정확도가 떨어지며, 이는 랜드마크-기하학적 대응 관계가 핵심임을 시사한다.
• 입력 랜드마크가 그대로 유지되는 한, 특정 얼굴 영역의 재구성 정확도는 그 영역 내 정점 밀도나 그 외부의 정점 수에 영향을 받지 않는다.
• 독립형 랜드마크 검출기와 계단식 회귀를 조합하는 것은 가능하며, 특히 교란된 랜드마크 애너테이션을 포함한 훈련 데이터가 존재할 경우 효과적이다.
• 제안된 방법은 버진 3DFE 데이터셋에서 평균 NPDE 2.03%를 달성하여 SFS(4.89%)와 E-3DMM(3.10%)를 능가하며, 최신 기술 수준의 성능을 입증한다.
• 교란된 랜드마크로 훈련함으로써 MAE가 원본 검출 결과의 3.34 mm에서 3.05 mm로 감소함을 입증하여, 데이터 증강이 검출 오차에 대한 강건성을 향상시킨다는 것을 보여준다.