[논문 리뷰] Extreme 3D Face Reconstruction: Seeing Through Occlusions

Anh Tran, Tal Hassner외 4명|arXiv (Cornell University)|2017. 12. 14.

Face recognition and analysis참고 문헌 52인용 수 4

한 줄 요약

이 논문은 전단면 표면 세부 정보를 볼륨 맵 표현을 사용해 전역 얼굴 형태 추정과 분리함으로써 극한의 3D 얼굴 재구성에 대한 새로운 딥러닝 프레임워크를 제안한다. 강건한 기초 형태를 추정하고, 컨volutional 인코더-디코더를 통해 별도로 표면 변형을 예측함으로써, 심한 가림과 평면 외 회전 조건에서도 고해상도 3D 재구성을 달성한다. 이는 도전적인 제약 없는 입력에서 양적 정확도와 질적 견고성 측면에서 최신 기술을 능가한다.

ABSTRACT

Existing single view, 3D face reconstruction methods can produce beautifully detailed 3D results, but typically only for near frontal, unobstructed viewpoints. We describe a system designed to provide detailed 3D reconstructions of faces viewed under extreme conditions, out of plane rotations, and occlusions. Motivated by the concept of bump mapping, we propose a layered approach which decouples estimation of a global shape from its mid-level details (e.g., wrinkles). We estimate a coarse 3D face shape which acts as a foundation and then separately layer this foundation with details represented by a bump map. We show how a deep convolutional encoder-decoder can be used to estimate such bump maps. We further show how this approach naturally extends to generate plausible details for occluded facial regions. We test our approach and its components extensively, quantitatively demonstrating the invariance of our estimated facial details. We further provide numerous qualitative examples showing that our method produces detailed 3D face shapes in viewing conditions where existing state of the art often break down.

연구 동기 및 목표

• 심한 가림과 큰 머리 회전 등의 극한 조건에서 실패하는 기존 3D 얼굴 재구성 방법의 한계를 해결하기 위해.
• 도전적인 시야 조건에서도 견고성을 유지하면서 세밀한 3D 얼굴 재구성을 가능하게 하기 위해.
• 전역 형태 추정과 중위 얼굴 세부 정보 예측을 분리함으로써 일반화 능력 향상과 가림 영역 처리 능력을 향상시키기 위해.
• 예시 기반 구멍 메꾸기와 3D 소프트 대칭을 사용해 가림 영역에서도 타당하고 신원을 유지하는 얼굴 세부 정보를 생성하기 위해.
• 볼륨 맵 표현이 가림에 불변이며, 얼굴 일부가 가려져 있어도 여전히 신원 정보를 유지할 수 있음을 입증하기 위해.

제안 방법

• 이 방법은 얼굴 볼륨 맵을 추정하기 위해 딥 컨volutional 인코더-디코더 네트워크를 사용한다. 볼륨 맵는 주름, 모공과 같은 중위 표면 세부 정보를 코딩한다.
• 먼저 기초로 근사적인 3D 얼굴 형태를 추정하고, 이를 예측된 볼륨 맵을 쌓아서 세부 정보를 추가함으로써 정밀하게 개선한다.
• 가림 영역의 경우, 기준 3D 얼굴을 사용해 예시 기반의 구멍 메꾸기 기법을 적용하여 타당한 얼굴 세부 정보를 합성한다.
• 3D 소프트 대칭을 사용해 얼굴의 대칭적 구조를 활용해 자기 가림된 얼굴 기능을 추론한다.
• 신원 유지와 기하학적 일관성에 기여하는 손실 함수를 사용해 볼륨 맵 추정을 엔드 투 엔드로 훈련한다.
• 시스템은 ImageNet 미사전 훈련 모델을 기반으로 전이 학습을 수행하며, CASIA 3D 얼굴 데이터셋에서 훈련 및 평가된다.

실험 결과

연구 질문

• RQ1 딥러닝 기반 볼륨 맵 추정 방법이 심한 시야 조건, 즉 가림과 큰 회전 조건에서도 세밀한 3D 얼굴 재구성을 가능하게 하는가?
• RQ2 얼굴 일부가 가려졌을 때 볼륨 맵가 신원 정보를 어느 정도 유지하는가?
• RQ3 예시 기반의 구멍 메꾸기 방법이 가림 영역에서 타당하고 신원 일致하는 얼굴 세부 정보를 생성할 수 있는가?
• RQ4 전역 형태와 국소 세부 정보를 분리한 모듈식 설계가 엔드 투 엔드 3D 재구성 네트워크에 비해 견고성을 어떻게 향상시키는가?
• RQ5 3D 소프트 대칭의 사용이 자기 가림된 얼굴 기능 복구에 기여하는가?

주요 결과

• 제안된 볼륨 맵 추정 방법은 LFW 이미지에서 높은 인식 정확도를 달성했으며, AlexNet 기반의 검증 시스템을 사용할 경우 CASIA 데이터셋에서 92.1%의 top-1 정확도를 기록했다.
• 75×75 픽셀의 가림을 적용했을 때, 볼륨 맵의 인식 정확도는 92.1%에서 68.3%로 떨어졌으며, 이는 원시 볼륨 맵가 가림에 민감함을 보여준다.
• 예시 기반의 구멍 메꾸기 방법은 원래 정확도의 89.4%를 복구했으며, 이는 생성된 세부 정보가 매우 타당하고 신원을 유지함을 시사한다.
• 정성적 비교 결과, 이 방법은 최신 기술이 실패하거나 일반적인 형태를 생성하는 경우에도 세밀하고 현실적인 3D 얼굴을 생성함을 보여준다.
• 이 방법은 Sela 등 [44]의 엔드 투 엔드 시스템보다 가림되거나 기울인 얼굴을 처리하는 데서 더 우수한 성능을 보이며, 세부 정보와 구조적 일관성을 유지한다.
• 제거 실험 결과, 형태 기초와 볼륨 맵 세부 정보를 분리한 모듈식 설계가 극한 조건에서 더 견고하고 정확한 재구성을 이끌어낸다는 것이 확인되었다.