[논문 리뷰] 3D Face Reconstruction from Light Field Images: A Model-free Approach

Mingtao Feng, Syed Zulqarnain Gilani외 2명|arXiv (Cornell University)|2017. 11. 16.

Face recognition and analysis참고 문헌 34인용 수 3

한 줄 요약

이 논문은 단일 라이트필드 영상에서 3D 얼굴 구조를 모델 기반 방법 없이 회귀하는 방법을 제안한다. 밀도 높은 컨volution 네트워크(FaceLFnet)를 사용하여 수평 및 수직 에피포럴 평면 영상(EPIs)으로부터 3D 얼굴 곡선을 추정한다. 3D 얼굴 스캔에서 사진처럼 현실적인 라이트필드 데이터를 합성함으로써, 80명의 인물에 대한 단지 14,000장의 훈련 이미지로도 기존 최고 성능 방법보다 20% 이상의 재구성 오차 감소를 달성한다.

ABSTRACT

Reconstructing 3D facial geometry from a single RGB image has recently instigated wide research interest. However, it is still an ill-posed problem and most methods rely on prior models hence undermining the accuracy of the recovered 3D faces. In this paper, we exploit the Epipolar Plane Images (EPI) obtained from light field cameras and learn CNN models that recover horizontal and vertical 3D facial curves from the respective horizontal and vertical EPIs. Our 3D face reconstruction network (FaceLFnet) comprises a densely connected architecture to learn accurate 3D facial curves from low resolution EPIs. To train the proposed FaceLFnets from scratch, we synthesize photo-realistic light field images from 3D facial scans. The curve by curve 3D face estimation approach allows the networks to learn from only 14K images of 80 identities, which still comprises over 11 Million EPIs/curves. The estimated facial curves are merged into a single pointcloud to which a surface is fitted to get the final 3D face. Our method is model-free, requires only a few training samples to learn FaceLFnet and can reconstruct 3D faces with high accuracy from single light field images under varying poses, expressions and lighting conditions. Comparison on the BU-3DFE and BU-4DFE datasets show that our method reduces reconstruction errors by over 20% compared to recent state of the art.

연구 동기 및 목표

• 깊이의 모호성과 척도/베이스 레리프 모호성으로 인해 애매한 단일 RGB 영상에서의 3D 얼굴 재구성 문제를 해결한다.
• 사전에 정의된 3D 모러포틱 모델에 의존하고 훈련 데이터 분포에 제약을 받는 모델 기반 접근법의 한계를 극복한다.
• 얼굴 랜드마크나 명시적인 형태 모델을 사용하지 않고도 다양한 자세, 표정, 조명 조건에서도 정확한 3D 얼굴 재구성을 가능하게 한다.
• 실제 3D 얼굴 스캔에서 유도된 대규모이고 사진처럼 현실적인 합성 라이트필드 데이터셋을 구축하여 딥 러닝 모델의 훈련을 지원한다.
• 에피포럴 평면에서 곡선별로 회귀하는 방식이 종래의 엔드 투 엔드 방법에 비해 훨씬 적은 훈련 인물 수로도 고정밀도 3D 재구성을 가능하게 한다는 것을 입증한다.

제안 방법

• BU-3DFE 및 BU-4DFE 데이터셋의 3D 얼굴 스캔에서 다양한 자세, 조명, 표정을 변화시켜 사진처럼 현실적인 라이트필드 영상을 합성한다.
• 합성된 라이트필드에서 수평 및 수직 에피포럴 평면 영상(EPIs)을 추출하여 깊이 관련 레이의 변화를 캡처한다.
• 각각의 EPI에서 3D 얼굴 곡선을 추정하기 위해 두 개의 별도된 밀도 높은 컨volution 네트워크(FaceLFnet)를 훈련시으며, 기능 재사용과 기울기 흐름을 활용한다.
• 카메라 파라미터를 사용하여 수평 및 수직 EPI에서 예측된 깊이 맵을 하나의 3D 점군으로 융합한다.
• 융합된 점군에 표면을 피팅하여 최종 3D 얼굴 메쉬를 생성한다.
• DenseNet 아키텍처를 활용하여 저해상도 EPI에서 미세한 깊이 기울기를 잘 포착함으로써 추정 정확도를 향상시킨다.

실험 결과

연구 질문

• RQ1 3D 모러포틱 모델이나 명시적인 형태 사전 지식에 의존하지 않고도 라이트필드 영상에서 3D 얼굴 재구성을 달성할 수 있는가?
• RQ2 EPI에서 곡선별로 회귀하는 접근법이 종래의 엔드 투 엔드 3D 얼굴 추정 방법에 비해 얼마나 더 정확한 재구성을 가능하게 하는가?
• RQ3 실제 3D 얼굴 스캔에서 유도된 합성 라이트필드 데이터셋이 실제 데이터가 적은 상황에서도 고정밀도 3D 재구성을 가능하게 하는 데 얼마나 효과적인가?
• RQ4 자신의 자세, 표정, 조명 조건의 변화에 대해 제안된 방법이 얼마나 강건한가?
• RQ5 단지 14,000장의 훈련 이미지와 80명의 인물로도 모델 기반 접근법이 아닌 방식으로 최고 성능을 달성할 수 있는가?

주요 결과

• 제안된 방법은 BU-3DFE 데이터셋에서 평균 재구성 오차를 2.78 mm로 줄여 기존 최고 성능 방법(예: Kemelmacher 등, 3.89 mm)을 능가한다.
• 최근 최고 성능 방법 대비 20% 이상의 오차 감소를 달성하였으며, 중앙값 오차는 1.73 mm, 90% 최대 오차는 5.30 mm였다.
• 얼굴 자세가 30도 변화해도 오차가 단지 0.31 mm 증가하여 자세 변화에 대해 매우 강건함을 보였다.
• 극단적인 표정 변화 상황에서, 중립 표정일 때의 RMSE(2.49 mm)에서 놀랍게 표정일 때 2.98 mm로 증가하였으며, 슬픈 표정에서 가장 높은 오차가 관찰되었다.
• BU-4DFE 데이터셋에서 NME는 3.72를 기록하여 3DDFA(5.14), EOS(5.33), VRN-Guided(4.71)를 모두 능가했다.
• 모델 기반 접근법과 EPI 기반 학습 방식 덕분에 인종 및 조명 조건의 다양성에 잘 일반화됨을 입증했다.