[논문 리뷰] PSGAN: Pose-Robust Spatial-Aware GAN for Customizable Makeup Transfer.

Wentao Jiang, Si Liu외 5명|arXiv (Cornell University)|2019. 09. 16.

Generative Adversarial Networks and Image Synthesis참고 문헌 28인용 수 4

한 줄 요약

PSGAN은 자세 및 표정에 강건하고 공간 인식 기반인 GAN을 제안하여 사용자 정의 메이크업 전이를 가능하게 하며, 참조 메이크업을 공간 인식 매트릭스로 분리하고 주의 메트릭스 기반의 모폴로지 모듈을 사용하여 큰 자세 및 표정 변화가 있는 경우에도 제어 가능하고 고해상도의 전이를 가능하게 한다. 이는 부분적 및 색조 제어 기능을 갖추고 있어 최신 기술 수준의 성능을 달성한다.

ABSTRACT

In this paper, we address the makeup transfer task, which aims to transfer the makeup from a reference image to a source image. Existing methods have achieved promising progress in constrained scenarios, but transferring between images with large pose and expression differences is still challenging. Besides, they cannot realize customizable transfer that allows a controllable shade of makeup or specifies the part to transfer, which limits their applications. To address these issues, we propose Pose and expression robust Spatial-aware GAN (PSGAN). It first utilizes Makeup Distill Network to disentangle the makeup of the reference image as two spatial-aware makeup matrices. Then, Attentive Makeup Morphing module is introduced to specify how the makeup of a pixel in the source image is morphed from the reference image. With the makeup matrices and the source image, Makeup Apply Network is used to perform makeup transfer. Our PSGAN not only achieves state-of-the-art results even when large pose and expression differences exist but also is able to perform partial and shade-controllable makeup transfer. We also collected a dataset containing facial images with various poses and expressions for evaluations.

연구 동기 및 목표

• 현재의 방법들이 어려움을 겪는 큰 자세 및 표정 변화가 있는 이미지 간의 메이크업 전이 문제를 해결한다.
• 특정 얼굴 부위와 색조를 제어할 수 있도록 가능하게 하여 사용자 정의 메이크업 전이를 가능하게 한다.
• 복잡한 얼굴 구성에서 분리 및 제어 기능이 부족한 기존 방법의 한계를 극복한다.
• 실제 환경에서의 강건성을 더 잘 평가하기 위해 다양한 자세와 표정을 포함한 새로운 데이터셋을 구축한다.

제안 방법

• 참조 이미지의 메이크업을 색상과 구조 정보를 모두 포착하는 두 개의 공간 인식 메이크업 매트릭스로 분리하는 Makeup Distill Network를 도입한다.
• 픽셀 단위의 모폴로지 가중치를 계산하여 참조 이미지에서 소스 이미지로 정밀하고 국소적인 전이를 가능하게 하는 Attentive Makeup Morphing 모듈을 제안한다.
• 소스 이미지와 공간 인식 메이크업 매트릭스, 모폴로지 가중치를 융합하여 엔드 투 엔드 메이크업 전이를 수행하는 Makeup Apply Network를 설계한다.
• 공간 인식 표현을 활용하여 큰 자세 및 표정 차이가 있는 상황에서도 구조 일관성과 색상 정확성을 유지한다.
• 실제감과 세부 사항 보존을 보장하기 위해 생성적 적대적, 인지적, 재구성 손실을 함께 사용하여 모델을 엔드 투 엔드로 훈련시킨다.
• 실제로 어려운 조건에서 훈련 및 평가를 가능하게 하기 위해 다양한 자세와 표정을 포함한 새로 수집한 데이터셋을 활용한다.

실험 결과

연구 질문

• RQ1 GAN 기반 프레임워크는 큰 자세 및 표정 변화가 있는 상황에서도 강건한 메이크업 전이를 달성할 수 있는가?
• RQ2 모델은 메이크업 전이에서 색조와 대상이 되는 얼굴 부위에 대해 얼마나 정교한 제어를 가능하게 하는가?
• RQ3 공간 인식 기반의 메이크업 구성 요소 분리 기법은 얼굴의 구조와 색상 정확성을 얼마나 효과적으로 유지하는가?
• RQ4 제안된 방법은 도전적인 조건에서 정량적 지표와 시각적 품질 측면에서 기존 최신 기술 수준의 접근 방식을 초월하는가?
• RQ5 다양한 자세와 표정을 포함한 전용 데이터셋은 메이크업 전이 모델의 일반화 능력과 강건성을 향상시키는 데 기여하는가?

주요 결과

• PSGAN은 정량적 지표와 시각적 비교를 통해 극단적인 자세 및 표정 변화가 있는 상황에서도 최신 기술 수준의 성능을 달성한다.
• 모델은 부분적 및 색조 제어 기능을 갖춘 메이크업 전이를 가능하게 하여 사용자가 적용할 얼굴 부위와 메이크업 강도 수준을 명시할 수 있다.
• 공간 인식 메이크업 매트릭스는 어려운 케이스에서 아티팩트를 줄이며 얼굴의 구조와 색상 일관성을 효과적으로 유지한다.
• Attentive Makeup Morphing 모듈은 픽셀 단위의 전이 가중치를 학습함으로써 국소화 정확도와 시각적 현실감을 크게 향상시킨다.
• 다양한 자세와 표정을 포함한 새로 수집한 데이터셋은 더 현실적인 벤치마크를 제공하며, 모델의 실세계 환경에서의 강건성을 입증한다.
• 절단 실험을 통해 각 구성 요소, 특히 공간 인식 기반 분리와 모폴로지 모듈의 효과성이 전이 품질 향상에 기여하는 것으로 확인되었다.