[논문 리뷰] Extreme 3D Face Reconstruction: Looking Past Occlusions.

Anh Tran, Tal Hassner외 4명|arXiv (Cornell University)|2017. 12. 14.

Face recognition and analysis참고 문헌 36인용 수 15

한 줄 요약

이 논문은 깊이 합성곱 신경망 기반의 인코더-디코더를 사용하여 전반적인 형태 추정과 중수준의 얼굴 세부 정보를 분리함으로써, 극단적인 시점과 가림을 견디는 고해상도 3D 얼굴 재구성 방법을 제안한다. 기존 방법이 실패하는 상황에서도 성능을 유지한다.

ABSTRACT

Existing single view, 3D face reconstruction methods can produce beautifully detailed 3D results, but typically only for near frontal, unobstructed viewpoints. We describe a system designed to provide detailed 3D reconstructions of faces viewed under extreme conditions, out of plane rotations, and occlusions. Motivated by the concept of bump mapping, we propose a layered approach which decouples estimation of a global shape from its mid-level details (e.g., wrinkles). We estimate a coarse 3D face shape which acts as a foundation and then separately layer this foundation with details represented by a bump map. We show how a deep convolutional encoder-decoder can be used to estimate such bump maps. We further show how this approach naturally extends to generate plausible details for occluded facial regions. We test our approach and its components extensively, quantitatively demonstrating the invariance of our estimated facial details. We further provide numerous qualitative examples showing that our method produces detailed 3D face shapes in viewing conditions where existing state of the art often break down.

연구 동기 및 목표

• 기존 3D 얼굴 재구성 방법이 극단적인 시점과 가림 상황에서 실패하는 한계를 해결하기 위해.
• 최신 기술이 붕괴되는 도전적인 시점 조건에서도 세밀한 3D 얼굴 재구성 가능하게 하기 위해.
• 주름과 같은 중수준의 얼굴 세부 정보를 전반적인 얼굴 형태 추정에서 분리하여 복원력을 향상시키기 위해.
• 가림 영역에서도 현실적인 얼굴 세부 정보를 생성할 수 있는 딥 러닝 기반 접근법을 개발하기 위해.
• 다양한 시점 각도와 가림 패tern에 대해 추정된 얼굴 세부 정보의 불변성을 입증하기 위해.

제안 방법

• 모델은 세부 정보 추가 이전에 거친 3D 얼굴 형태를 기초 기하 구조로 추정한다.
• 주름과 같은 중수준의 얼굴 세부 정보는 거친 형태 위에 중첩되는 버프맵으로 모델링된다.
• 딥 컨volution 신경망 인코더-디코더 네트워크를 사용해 단일 이미지에서 버프맵을 예측하도록 훈련한다.
• 버프맵 표현 방식은 가시 영역에서의 맥락을 활용해 가림 영역의 현실적인 세부 정보 생성을 가능하게 한다.
• 이 방법은 평면 외 회전과 부분적 가림에 대해 불변성을 갖도록 설계되었다.
• 버프맵을 거친 형태와 통합하여 최종적으로 세밀한 3D 얼굴 재구성을 생성한다.

실험 결과

연구 질문

• RQ1 딥 러닝 기반의 버프맵 예측 방법이 극단적인 시점에서 세밀한 3D 얼굴 재구성을 성공적으로 생성할 수 있는가?
• RQ2 모델이 부분적 또는 완전한 가림을 받은 얼굴 영역으로 일반화하는 데 얼마나 잘 성능을 내는가?
• RQ3 추정된 얼굴 세부 정보 표현이 큰 시점 변화에 대해 어느 정도 불변성을 보이는가?
• RQ4 형태와 세부 정보를 분리한 표현 방식이 종단간(end-to-end) 방법에 비해 도전적인 조건에서 재구성 품질을 향상시키는가?
• RQ5 버프맵 접근 방식이 영상 증거가 없는 가림 영역에서도 현실적인 세부 정보 합성을 가능하게 하는가?

주요 결과

• 제안된 방법은 기존 최신 기술이 실패하는 극단적인 시점 조건에서도 고해상도 3D 얼굴 재구성을 달성한다.
• 실험적으로 정량적으로 입증된 바와 같이, 다양한 시점 각도에서 추정된 얼굴 세부 정보가 강력한 불변성을 보인다.
• 가시 영역의 맥락을 활용해 가림 영역에서도 현실적인 중수준의 얼굴 세부 정보(예: 주름)를 성공적으로 생성한다.
• 정성적 결과에서, 심한 가림과 비면역 시점에서도 세밀하고 현실적인 3D 얼굴을 생성함을 확인할 수 있다.
• 제거 실험(ablation study)를 통해 도전적인 조건에서 재구성 품질 향상에 있어 계층적 접근의 효과를 확인하였다.
• 버프맵 기반 표현 방식은 가림 영역에 대한 명시적 지도 없이도 강력한 세부 정보 예측을 가능하게 한다.