[논문 리뷰] Mask-Guided Portrait Editing with Conditional GANs

Shuyang Gu, Jianmin Bao외 4명|arXiv (Cornell University)|2019. 05. 24.

Generative Adversarial Networks and Image Synthesis참고 문헌 44인용 수 9

한 줄 요약

이 논문은 얼굴 마스크에서 분리된 얼굴 구성 요소 임베딩(눈, 입, 머리카락, 피부/코)을 학습함으로써 고품질, 다채롭고 제어 가능한 포트레이트 편집을 위한 마스크 유도 조건부 GAN 프레임워크를 제안한다. 이 방법은 종단간 생성, 국소 편집(예: 머리카락 색상이나 모양 변경), 헤어 전이가 포함된 얼굴 교체, 얼굴 파싱을 위한 데이터 증강을 가능하게 하며, 이전 방법들보다 다양성과 현실성에서 뛰어나며 얼굴 파싱 정확도를 0.8% 향상시킨다.

ABSTRACT

Portrait editing is a popular subject in photo manipulation. The Generative Adversarial Network (GAN) advances the generating of realistic faces and allows more face editing. In this paper, we argue about three issues in existing techniques: diversity, quality, and controllability for portrait synthesis and editing. To address these issues, we propose a novel end-to-end learning framework that leverages conditional GANs guided by provided face masks for generating faces. The framework learns feature embeddings for every face component (e.g., mouth, hair, eye), separately, contributing to better correspondences for image translation, and local face editing. With the mask, our network is available to many applications, like face synthesis driven by mask, face Swap+ (including hair in swapping), and local manipulation. It can also boost the performance of face parsing a bit as an option of data augmentation.

연구 동기 및 목표

• 기존의 포트레이트 편집 방법에서의 다양성, 이미지 품질(특히 피부 및 머리카락 세부 정보), 제어 가능성에 대한 한계를 해결하기 위해.
• 제공된 얼굴 마스크를 사용해 형태, 색상, 질감과 같은 얼굴 특성의 구성 요소 수준에서 정밀한 편집을 가능하게 하기 위해.
• 마스크에서 얼굴로의 합성, 헤어 전이가 포함된 얼굴 교체, 얼굴 파싱을 위한 데이터 증강을 포함한 다수의 응용 분야를 지원하는 일반화 가능한 프레임워크를 개발하기 위해.
• 마스크 유도 생성을 통해 큰 자세, 열악한 조명, 안경 착용 등의 극한 조건에서도 생성된 얼굴의 현실성과 정확도를 향상시키기 위해.

제안 방법

• 프레임워크는 세 부분으로 구성된 종단간 아키텍처를 사용한다: 왼쪽 눈, 오른쪽 눈, 입, 피부 및 코, 머리카락과 같은 별도의 얼굴 구성 요소를 위한 다섯 개의 오토인코더를 갖춘 국소 임베딩 하위 네트워크.
• 마스크 유도 생성 하위 네트워크는 학습된 구성 요소 임베딩을 대상 얼굴 마스크와 재결합하여 전경 얼굴 이미지를 생성하며, 구성 요소 간 대응(예: 입-입)을 보장한다.
• 배경 융합 하위 네트워크는 대상 마스크를 사용해 생성된 전경과 배경 이미지를 융합하여 자연스럽고 완전한 포트레이트를 생성한다.
• 모든 세 하위 네트워크에서 얼굴 마스크를 조건부 입력으로 사용하여 생성 과정에서 기하학적 및 의미적 일致성을 강제한다.
• 목표 마스크를 수정하거나 소스 이미지의 임베딩을 교체함으로써 구성 요소 수준의 편집을 구현하여 국소 외관 전이(예: 머리카락 색상 변경 또는 수염 추가)를 가능하게 한다.
• 헤일렌 데이터셋의 마스크와 셀레바에서의 소스 이미지를 사용해 합성 훈련 이미지를 생성함으로써 얼굴 파싱을 위한 데이터 증강을 지원한다.

실험 결과

연구 질문

• RQ1 얼굴 마스크를 유도로 사용하는 조건부 GAN 프레임워크가 기존의 GAN 기반 방법에 비해 더 높은 다양성과 현실성으로 포트레이트 합성을 달성할 수 있는가?
• RQ2 마스크 유도 학습이 국소 얼굴 구성 요소 편집(예: 형태, 색상, 질감)의 제어 가능성에 어느 정도 기여하는가?
• RQ3 제안된 프레임워크는 큰 자세, 열악한 조명 또는 가림(예: 안경) 등의 극한 조건에서도 고해상도 얼굴을 생성할 수 있는가?
• RQ4 이 프레임워크가 생성한 합성 데이터는 후속 얼굴 파싱 모델의 성능을 향상시키는가?

주요 결과

• 제안된 프레임워크는 마스크에서 얼굴로의 합성에서 최고 성능을 기록하며, 이전 방법들보다 다양성과 이미지 품질 모두에서 뛰어나며, 피부 질감과 머리카락 같은 세부 정보에서 특히 두각을 나타낸다.
• 모델은 효과적인 국소 편집을 가능하게 하며, 사용자는 눈을 더 크게 만들거나 입을 넓게 하는 등 얼굴 구성 요소의 형태를 수정하거나, 마스크나 임베딩 조작을 통해 머리카락 색상 변경, 수염 추가 등의 외관 전이를 수행할 수 있다.
• 헤어 구성 요소의 명시적 전이를 가능하게 하여 전통적인 얼굴 교체 방법에서 부족했던 '얼굴 교체+' 기능을 지원한다.
• 마스크가 구성 요소를 정확히 분할한 경우, 큰 자세, 극한의 조명, 가려진 얼굴(예: 안경 착용) 등의 극한 조건에서도 현실적인 결과를 생성한다.
• 헤일렌 데이터셋 훈련 세트에 이 프레임워크를 사용해 생성한 합성 이미지를 추가함으로써 얼굴 파싱 정확도가 0.8% 향상되었으며, 이는 프레임워크가 데이터 증강 도구로서의 유용성을 입증한다.