[논문 리뷰] PSGAN: Pose and Expression Robust Spatial-Aware GAN for Customizable Makeup Transfer

Wentao Jiang, Si Liu외 5명|arXiv (Cornell University)|2019. 09. 16.

Generative Adversarial Networks and Image Synthesis참고 문헌 29인용 수 14

한 줄 요약

PSGAN은 공간 인식 계수 행렬(γ)과 바이어스 행렬(β)로 참조 메이크업을 분리하여, 자세 및 표정에 강건한 맞춤형 메이크업 전이를 위한 새로운 공간 인식 GAN 프레임워크를 제안한다. 픽셀 단위의 적응을 위한 민감도 메이크업 모르포시스 모듈과 스타일 주입을 위한 메이크업 적용 네트워크를 사용함으로써, PSGAN은 전면 및 비구속적인 얼굴 이미지에서 최신 기술 수준의 성능을 달성하며, 높은 현실성과 일관성을 유지하면서 부분적이고 색조 제어가 가능한 전이를 가능하게 한다.

ABSTRACT

In this paper, we address the makeup transfer task, which aims to transfer the makeup from a reference image to a source image. Existing methods have achieved promising progress in constrained scenarios, but transferring between images with large pose and expression differences is still challenging. Besides, they cannot realize customizable transfer that allows a controllable shade of makeup or specifies the part to transfer, which limits their applications. To address these issues, we propose Pose and expression robust Spatial-aware GAN (PSGAN). It first utilizes Makeup Distill Network to disentangle the makeup of the reference image as two spatial-aware makeup matrices. Then, Attentive Makeup Morphing module is introduced to specify how the makeup of a pixel in the source image is morphed from the reference image. With the makeup matrices and the source image, Makeup Apply Network is used to perform makeup transfer. Our PSGAN not only achieves state-of-the-art results even when large pose and expression differences exist but also is able to perform partial and shade-controllable makeup transfer. We also collected a dataset containing facial images with various poses and expressions for evaluations.

연구 동기 및 목표

• 기존 메이크업 전이 방법이 큰 자세 및 표정 변형을 다루는 데에 한계가 있음을 해결하기 위해.
• 특정 얼굴 부위(부분 전이)와 메이크업 강도(색조 제어)에 대한 제어 기능을 갖춘 맞춤형 메이크업 전이를 가능하게 하기 위해.
• 다양하고 비구속적인 얼굴 이미지에서 고성능 결과를 유지할 수 있는 강력한 프레임워크를 개발하기 위해.
• 실제 조건에서 메이크업 전이를 평가하기 위해 새로운 데이터셋인 Makeup-Wild을 수집 및 공개하기 위해.

제안 방법

• 메이크업 정련 네트워크(MDNet)는 참조 이미지의 메이크업을 국소적 얼굴 세부 정보를 유지하는 공간 인식 계수(γ) 및 바이어스(β) 행렬로 분리한다.
• 민감도 메이크업 모폴로지(AMM) 모듈은 얼굴 파싱 맵과 얼굴 랜드마크를 사용하여 픽셀 단위의 대응 관계를 계산함으로써, γ 및 β를 소스 이미지의 자세 및 표정에 맞게 적응시킨다.
• AMM 모듈은 주의 행렬 A를 사용하여 메이크업 행렬을 동적으로 조정함으로써, 오차가 있는 정렬 상황에서도 정확한 공간 정렬을 보장한다.
• 메이크업 적용 네트워크(MANet)는 특징 맵에 대해 요소별 곱셈과 덧셈을 통해 γ′ 및 β′를 적용함으로써 메이크업 전이를 수행한다.
• 부분 전이는 얼굴 파싱 결과를 기반으로 γ′ 및 β′에 마스크를 적용하여 특정 영역에만 전이가 가능하도록 한다.
• 색조 제어 가능한 전이는 [0,1] 범위의 계수로 γ′ 및 β′를 스케일링하여 경량에서 강한 메이크업 강도로의 조절이 가능하게 한다.

실험 결과

연구 질문

• RQ1 소스 이미지와 참조 이미지 간의 큰 자세 및 표정 차이가 존재할 때, 메이크업 전이 방법이 높은 품질의 결과를 낼 수 있는가?
• RQ2 메이크업 전이가 부분적으로 제어 가능하게 할 수 있는가? 즉, 특정 얼굴 부위(예: 입술, 눈)를 별도로 타겟으로 삼을 수 있는가?
• RQ3 전이된 메이크업의 강도(색조)를 경량에서 강한 강도로 제어적으로 조절할 수 있는가?
• RQ4 제안된 공간 인식 행렬 표현 방식은 잠재 벡터 기반 방법에 비해 전이 정확도와 현실성 향상에 어떻게 기여하는가?
• RQ5 동적인 자세 및 표정 변화를 보이는 영상 시퀀스에 적용했을 때, 프레임워크가 일관성과 품질을 유지할 수 있는가?

주요 결과

• PSGAN은 M-Wild 테스트 세트에서 모든 베이스라인을 압도하여 사용자 연구에서 최상의 결과로 선택된 비율이 83.5%를 기록했으며, BGAN(13.5%) 및 기타 방법보다 유의미하게 높았다.
• MT 테스트 세트에서는 61.5%의 선택 비율을 기록하여, 전면적이고 중립적인 표정을 가진 이미지에서도 강력한 성능을 입증했다.
• 정성적 결과에서는 PSGAN이 최신 기술 수준의 방법들보다 더 현실적이며 參照 스타일에 정확히 부합하는 메이크업 전이를 생성함을 확인했으며, 특히 비전면 얼굴 및 복잡한 표정 처리에서 뛰어난 성능을 보였다.
• AMM 모듈은 정렬 오류 문제를 효과적으로 완화하여, 어려운 자세에서 잘못된 메이크업 적용(예: 피부에 립글로스가 묻는 것)을 방지했다.
• 영상 전이 결과는 시간적으로 일관성 있고 높은 시각적 품질을 확보했으며, 이는 동적인 시나리오에서의 방법의 강력함을 확인한다.
• 제안된 Makeup-Wild 데이터셋은 다양한 자세와 표정을 효과적으로 캡처하여, 메이크업 전이 모델의 더 현실적인 평가를 가능하게 했다.