[논문 리뷰] Evaluation of Dense 3D Reconstruction from 2D Face Images in the Wild

Zhenhua Feng, Patrik Huber외 6명|View|2018. 03. 14.

Face recognition and analysis참고 문헌 23인용 수 10

한 줄 요약

이 논문은 135명의 피험자로부터 확보한 2,000장의 실외 환경에서 촬영한 2D 얼굴 이미지와 고해상도 3D 기준값 스캔을 포함하는 새로운 벤치마크 데이터셋을 소개한다. 이를 통해 단일 2D 실외 이미지에서의 조밀한 3D 얼굴 재구성에 대한 객관적 평가를 가능하게 한다. 다섯 가지 최신 기술을 평가한 결과, 텍스처 기반 딥러닝 방법이 랜드마크 기반 방법보다 유의미하게 뛰어난 성능을 보였지만, 이는 더 높은 계산 부담을 수반한다.

ABSTRACT

This paper investigates the evaluation of dense 3D face reconstruction from a single 2D image in the wild. To this end, we organise a competition that provides a new benchmark dataset that contains 2000 2D facial images of 135 subjects as well as their 3D ground truth face scans. In contrast to previous competitions or challenges, the aim of this new benchmark dataset is to evaluate the accuracy of a 3D dense face reconstruction algorithm using real, accurate and high-resolution 3D ground truth face scans. In addition to the dataset, we provide a standard protocol as well as a Python script for the evaluation. Last, we report the results obtained by three state-of-the-art 3D face reconstruction systems on the new benchmark dataset. The competition is organised along with the 2018 13th IEEE Conference on Automatic Face & Gesture Recognition.

연구 동기 및 목표

• 단일 2D 실외 이미지에서의 조밀한 3D 얼굴 재구성에 대한 신뢰할 수 있고 객관적인 평가 기준을 확립하기 위해.
• 기존 데이터셋에서 실재적인 고해상도 3D 기준값이 부족하여 정량적 평가가 제한되는 문제를 해결하기 위해.
• 표준화된 프로토콜과 공개된 데이터를 통해 최신 3D 재구성 알고리즘 간의 공정한 비교를 가능하게 하기 위해.
• 어려운 실제 환경 조건에서 텍스처 기반과 랜드마크 기반 피팅이 재구성 정확도에 미치는 영향을 조사하기 위해.
• 데이터셋, 평가 프로토콜, 코드를 공개하여 향후 연구를 지원하고 재현 가능성 및 공동체 차원의 도입을 촉진하기 위해.

제안 방법

• 135명의 피험자로부터 확보한 2,000장의 실외 환경에서 촬영한 2D 얼굴 이미지와 해당하는 고해상도 3D 스캔을 이용해 새로운 벤치마크 데이터셋을 구축했다.
• 정확도와 해상도를 확보하기 위해 구조광선 3D 스캐너를 사용해 3D 기준값을 확보했다.
• 표준화된 평가 프로토콜을 정의하고 일관된 성능 측정을 위한 파이썬 스크립트를 제공했다.
• 다섯 가지 최신 3D 얼굴 재구성 시스템을 평가했다: 서레이지 대학 소속 두 개( MTCNN+CNN6+eos, MTCNN+CNN6+3DDFA), 취창우 대학 소속 하나( SCU-BRL), 그리고 두 개의 딥러닝 기반 방법(3DDFA, 3DMM-CNN).
• 3D-RMSE를 주요 지표로 사용해 단일 이미지 재구성 평가를 수행했으며, 고품질 및 저품질 이미지 하위집합에 대한 추가 분석도 실시했다.
• 선택된 시스템(예: SCU-BRL)을 대상으로 다중 이미지 재구성 실험을 수행해 단일 이미지 대비 성능 향상을 평가했다.

실험 결과

연구 질문

• RQ1 실제 고해상도 3D 기준값이 제공되는 실외 환경에서의 2D 이미지에서 최신 3D 얼굴 재구성 알고리즘이 어떻게 성능을 발휘하는가?
• RQ2 랜드마크 기반 피팅 대비 텍스처 정보가 3D 재구성 정확도에 얼마나 기여하는가?
• RQ3 이미지 품질(예: 극단적인 자세, 조명 조건)이 다양한 재구성 방법의 성능에 어떤 영향을 미치는가?
• RQ4 다중 이미지 피팅이 단일 이미지 방법에 비해 재구성 정확도를 크게 향상시킬 수 있는가?
• RQ5 현재 3D 얼굴 재구성 파이프라인에서 재구성 정확도와 계산 효율성 사이의 상충 관계는 어떠한가?

주요 결과

• 3DMM-CNN와 MTCNN+CNN6+3DDFA 시스템은 전체 벤치마크 데이터셋에서 각각 2.26±0.72와 2.31±0.75의 3D-RMSE를 기록해 랜드마크 기반 방법을 압도적으로 앞섰다.
• 랜드마크 기반 방법(MTCNN+CNN6+eos, MTCNN+CNN6+ESO, SCU-BRL)은 3.05±0.89에서 3.12±0.91의 높은 오차를 보이며 어려운 조건에서도 정확도가 제한됨을 시사했다.
• 최고 성능을 보인 3DMM-CNN 시스템은 다중 이미지 피팅을 적용했을 때 3D-RMSE가 2.26±0.72로 떨어져 보완적인 데이터로부터의 성능 향상이 뚜렷하게 나타났다.
• 텍스처 기반 딥러닝 방법(3DDFA, 3DMM-CNN)이 랜드마크 기반 방법보다 뛰어난 성능을 보이며, 텍스처가 중요한 형태 정보를 제공한다는 점을 입증했다.
• 3DDFA 시스템은 표준 CPU에서 약 1.5 fps로 실행되었고, eos는 100 fps 이상으로 실행되어 주요한 속도-정확도 상충 관계가 드러났다.
• 딥러닝 기반 시스템은 고품질 및 저품질 하위집합 간 성능 격차가 작아 이미지 열화에 대해 더 강건함을 보였다.