[논문 리뷰] Facial Attribute Transformers for Precise and Robust Makeup Transfer

Zhaoyi Wan, Hao Chen외 4명|arXiv (Cornell University)|2021. 04. 07.

Face recognition and analysis인용 수 5

한 줄 요약

이 논문은 자기주의 주의 메커니즘을 활용하여 원본 얼굴와 기준 얼굴 간의 의미적 대응 관계를 모델링함으로써 고해상도이고 내성적인 메이크업 전이를 위한 새로운 프레임워크인 Facial Attribute Transformers (FAT)와 Spatial FAT를 제안한다. 이는 색상과 질감 전이를 정밀하게 가능하게 하며, 미분 가능한 얇은 판 스퍼링(Thin-Plate Splines, TPS)을 통해 기하학적 형태 변환도 지원한다. 본 방법은 색상 충실도, 공간 변형, 자세 및 조명 변화에 대한 내성성에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

In this paper, we address the problem of makeup transfer, which aims at transplanting the makeup from the reference face to the source face while preserving the identity of the source. Existing makeup transfer methods have made notable progress in generating realistic makeup faces, but do not perform well in terms of color fidelity and spatial transformation. To tackle these issues, we propose a novel Facial Attribute Transformer (FAT) and its variant Spatial FAT for high-quality makeup transfer. Drawing inspirations from the Transformer in NLP, FAT is able to model the semantic correspondences and interactions between the source face and reference face, and then precisely estimate and transfer the facial attributes. To further facilitate shape deformation and transformation of facial parts, we also integrate thin plate splines (TPS) into FAT, thus creating Spatial FAT, which is the first method that can transfer geometric attributes in addition to color and texture. Extensive qualitative and quantitative experiments demonstrate the effectiveness and superiority of our proposed FATs in the following aspects: (1) ensuring high-fidelity color transfer; (2) allowing for geometric transformation of facial parts; (3) handling facial variations (such as poses and shadows) and (4) supporting high-resolution face generation.

연구 동기 및 목표

• 기존 메이크업 전이 방법의 색상 충실도 및 공간 변형 정확도에 대한 한계를 해결하기 위해.
• 기준 얼굴에서 원본 얼굴로 색상/질감 속성뿐 아니라 기하학적 속성(예: 눈썹 모양)까지 정밀하게 전이할 수 있도록 하기 위해.
• 자세나 그림자와 같은 얼굴 변형을 다룰 수 있는 고해상도 얼굴 생성을 지원하는 일반화 가능한 프레임워크 개발을 위해.
• 훈련 및 추론 품질 향상을 위해 민감한 지도 데이터 생성 전략과 후처리 파이프라인 설계를 위해.
• 기본 구조 변경 없이도 다른 얼굴 속성 전이 작업(예: 얼굴 연령 또는 표정 전이)으로의 적용 가능성을 확장하기 위해.

제안 방법

• 원본 얼굴와 기준 얼굴 간의 의미적 대응 관계를 모델링하기 위해 자연어처리(NLP) 트랜스포머의 영감을 받은 자기주의 주의 메커니즘을 사용하는 Facial Attribute Transformer (FAT)를 제안한다.
• FAT에 얇은 판 스퍼링(Thin-Plate Splines, TPS)을 통합하여 기하학적 변형이 가능한 Differentiable Facial Parts Transformation을 가능하게 하는 Spatial FAT를 설계한다.
• 훈련을 위해 적대적, 사이클 일致성, 인지적, 메이크업 특화 손실을 포함한 사이클 일치 GAN 프레임워크를 활용한다.
• 정체성 및 얼굴 세부 정보를 유지하기 위해 VGG-16 특징 추출기를 인지적 손실에 적용한다.
• 훈련을 유도하기 위해 가짜 전이 이미지와 혼합 기법을 사용하는 유연한 지도 데이터 생성 전략을 설계한다.
• 세부 정보를 유지하면서 고해상도의 정밀한 고품질 얼굴 이미지를 생성하기 위해 고해상도 후처리 연산을 적용한다.

Figure 1: (Best viewed in color) Our Facial Attribute Transformer (FAT) can faithfully transfer detailed attributes (such as color and texture) from the reference to the source. Spatial FAT, an extension of FAT, further enables spatial transformation. The proposed facial attribute transformers exhib

실험 결과

연구 질문

• RQ1 트랜스포머 기반 아키텍처가 메이크업 전이에서 원본 얼굴와 기준 얼굴 간의 의미적 대응 관계 모델링을 향상시킬 수 있는가?
• RQ2 눈썹 모양과 같은 기하학적 속성이 색상과 질감과 함께 효과적으로 전이될 수 있는가?
• RQ3 주의 메커니즘과 TPS의 통합이 자세나 조명 변화에 대한 내성성과 정밀도 향상에 기여하는가?
• RQ4 제안된 방법은 아키텍처 변경 없이 다른 얼굴 속성 전이 작업으로 일반화될 수 있는가?
• RQ5 정량적 및 정성적 측면에서 최신 기술 수준의 방법과 비교해 본다면 색상 충실도와 공간 정확도에서 어떤 성능을 보이는가?

주요 결과

• Spatial FAT는 립과 눈의 색조, 포화도, 질감이 기준 이미지와 매우 유사한 우수한 색상 충실도를 달성한다.
• 기존 방법들인 BeautyGAN과 PSGAN이 유지하지 못했던 기하학적 속성(예: 눈썹 모양)까지 성공적으로 전이하였다.
• 정량적 결과에서 FID 및 LPIPS 지표에서 뚜렷한 향상이 나타나, 더 높은 인지적 품질과 낮은 분포 차이를 의미한다.
• 큰 자세 변화나 그림자와 같은 얼굴 변형에 대해서도 내성성을 입증하였으며, 도전적인 케이스에서 기존 방법들을 능가하는 성능을 보였다.
• 전용 후처리 단계를 통해 고해상도 얼굴 생성이 성공적으로 수행되었으며, 세부 정보가 잘 유지되었다.
• 자기 분석 실험을 통해 얼굴 연령 전이와 같은 다른 속성 전이 작업으로의 일반화 능력이 뛰어나다는 것이 입증되었다.

Figure 2: The GAN training of makeup transfer. $G$ is short for the generator, and $D_{x}$ is the discriminator for reference. $L_{1}$ is the Manhattan distance that performs as a criterion. The generator output is marked with dash borders. Note the reference and source are symmetrically exchanged i