[논문 리뷰] Face De-occlusion using 3D Morphable Model and Generative Adversarial Network

Xiaowei Yuan, In Kyu Park|arXiv (Cornell University)|2019. 04. 12.

Face recognition and analysis참고 문헌 34인용 수 8

한 줄 요약

이 논문은 심각한 가림을 겪은 입력에서 고해상도의 사실적인 얼굴 이미지를 복원하기 위해 3D 모러포블 모델(3DMM)을 조건으로 하는 GAN 프레임워크를 제안한다. 3DMM의 사전 지식을 활용하여 고도로 사실적인 얼굴 이미지를 복원한다. 전역 및 국소 판별자와 3DMM 기반 기하학적·의미론적 지시를 받는 생성자로 구성된 이 방법은 다양한 자세, 조명 조건 및 가림 유형에서 강력한 탈가림 성능을 달성하며, 정확한 3D 얼굴 복원 및 속성 편집을 가능하게 한다.

ABSTRACT

In recent decades, 3D morphable model (3DMM) has been commonly used in image-based photorealistic 3D face reconstruction. However, face images are often corrupted by serious occlusion by non-face objects including eyeglasses, masks, and hands. Such objects block the correct capture of landmarks and shading information. Therefore, the reconstructed 3D face model is hardly reusable. In this paper, a novel method is proposed to restore de-occluded face images based on inverse use of 3DMM and generative adversarial network. We utilize the 3DMM prior to the proposed adversarial network and combine a global and local adversarial convolutional neural network to learn face de-occlusion model. The 3DMM serves not only as geometric prior but also proposes the face region for the local discriminator. Experiment results confirm the effectiveness and robustness of the proposed algorithm in removing challenging types of occlusions with various head poses and illumination. Furthermore, the proposed method reconstructs the correct 3D face model with de-occluded textures.

연구 동기 및 목표

• 안경, 마스크, 손 등으로 심각하게 가려진 실세계 이미지에서 사실적인 얼굴 탈가림에 도전한다.
• 저해상도, 회색조, 정렬된 이미지 등 제약 조건에 의존하는 기존 방법의 한계를 극복한다.
• 3DMM 사전 지식을 활용한 깊은 생성 모델을 통해 가려진 질감을 복원하여 정확한 3D 얼굴 복원을 가능하게 한다.
• 탈가림 후 3DMM 계수를 조작하여 얼굴 속성 편집을 가능하게 한다.
• 학습 및 평가를 위해 의미적으로 배치된 가림을 가진 다각도의 대규모 합성 얼굴 이미지 데이터셋을 구축한다.

제안 방법

• 생성자를 3DMM 파라미터로 조건화하는 조건부 GAN 프레임워크를 제안하여 기하학적·의미론적 사전 지식을 기반으로 탈가림을 유도한다.
• 전체 이미지의 일관성을 확보하기 위해 전역 판별자를 통합하고, 3DMM 기반 얼굴 정렬 정보를 바탕으로 얼굴 영역에 집중된 국소 판별자를 도입한다.
• 3DMM을 사용해 형태, 질감, 자세 파라미터를 추출하고, 이를 생성자의 입력으로 활용하여 부족한 얼굴 영역의 합성에 유도한다.
• 고해상도 출력을 확보하기 위해 적대적 손실, 인지적 손실, 재구성 손실의 조합으로 모델을 훈련시킨다.
• 300W-3D 및 AFLW2000-3D 데이터셋을 활용하여 얼굴 특징점 기반으로 다양한 가림을 배치한 대규모 훈련 세트를 합성한다.
• 3DMM 기반 피팅과 형태에서 조명 추론(SfS)을 적용하여 탈가림된 이미지에서 세밀한 3D 얼굴 기하학을 복원한다.

Figure 2: Proposed network structure. It consists of a generator with two discriminators. The generator takes a synthesis image and an occluded image as input. Two discriminators help to generate a more natural result. Only the generator is necessary during testing.

실험 결과

연구 질문

• RQ1 3DMM 조건부 GAN은 복잡한 자세와 조명 조건에서 심각하게 가려진 이미지로부터 사실적인 얼굴 질감을 효과적으로 복원할 수 있는가?
• RQ2 기하학적·의미론적 사전 지식으로서의 3DMM을 통합할 경우, 기존 GAN과 비교해 탈가림 성능이 어떻게 향상되는가?
• RQ3 이러한 방법이 가려진 입력 이미지에 적용되었을 때 3D 얼굴 복원 품질을 어느 정도 향상시키는가?
• RQ4 탈가림된 출력 결과를 활용해 3DMM 계수 조작을 통한 후속 작업, 예를 들어 얼굴 속성 편집이 가능한가?
• RQ5 전역 및 국소 판별자의 조합이 단일 판별자 설정 대비 시각적 정확도와 세부 사항 복원 능력을 어떻게 향상시키는가?

주요 결과

• 제안된 방법은 실제 및 합성 이미지에서 안경, 마스크, 손 등 다양한 가림을 다양한 머리 자세와 조명 조건에서 효과적으로 제거한다.
• 시각적 비교 결과, 전역 및 국소 판별자를 모두 갖춘 모델이 가장 현실적인 결과를 내며, 눈과 자연스러운 피부 질감의 선명한 디테일을 확보한다.
• 탈가림된 이미지에서의 3D 얼굴 복원은 가려진 입력에서의 복원보다 훨씬 깔끔하고 정확한 기하학을 얻는다. 특히, 노이즈와 아티팩트 문제를 줄인다.
• 탈가림된 질감을 활용한 3D 얼굴 모델은 정확한 형태와 표면 디테일을 보이며, 이는 3D 복원 파이프라인에 효과적임을 입증한다.
• 3DMM 계수 조작을 통한 얼굴 속성 편집이 가능하다: 표현 계수를 변경하면 동일한 가려진 입력에서도 현실적이고 제어 가능한 얼굴 생성이 가능하다.
• 절단 실험 결과, 3DMM 사전 지식이나 판별자를 제거할 경우 노이즈가 많거나 비현실적인 출력이 발생함을 확인하여, 각 구성 요소가 프레임워크 내에서 필수적임을 검증한다.

Figure 3: Occluded face image (left) and the 3DMM synthesis (right).