[논문 리뷰] Instance-level Facial Attributes Transfer with Geometry-Aware Flow

Weidong Yin, Ziwei Liu외 1명|arXiv (Cornell University)|2018. 11. 30.

Face recognition and analysis참고 문헌 43인용 수 7

한 줄 요약

이 논문은 소스 속성의 세부 정보를 유지하면서 포즈에 강건한, 미분 가능한 워핑을 가능하게 하는 지오메트리 인식 플로 프레임워크를 제안한다. 얼굴 랜드마크를 활용하여 인스턴스 수준의 얼굴 속성 전이를 위한 기하학적 워핑을 학습한다. 플로 기반 워핑과 외관 잔차 보정 네트워크를 결합하고, 쌍이 없는 데이터에서 사이클 일致성 학습을 적용함으로써, 큰 포즈 및 외관 격차가 있는 상황에서도 고해상도 및 국소 외 속성(예: 엷은 눈썹, 미소)까지도 높은 정밀도와 현실감 있는 속성 전이를 달성한다.

ABSTRACT

We address the problem of instance-level facial attribute transfer without paired training data, e.g. faithfully transferring the exact mustache from a source face to a target face. This is a more challenging task than the conventional semantic-level attribute transfer, which only preserves the generic attribute style instead of instance-level traits. We propose the use of geometry-aware flow, which serves as a well-suited representation for modeling the transformation between instance-level facial attributes. Specifically, we leverage the facial landmarks as the geometric guidance to learn the differentiable flows automatically, despite of the large pose gap existed. Geometry-aware flow is able to warp the source face attribute into the target face context and generate a warp-and-blend result. To compensate for the potential appearance gap between source and target faces, we propose a hallucination sub-network that produces an appearance residual to further refine the warp-and-blend result. Finally, a cycle-consistency framework consisting of both attribute transfer module and attribute removal module is designed, so that abundant unpaired face images can be used as training data. Extensive evaluations validate the capability of our approach in transferring instance-level facial attributes faithfully across large pose and appearance gaps. Thanks to the flow representation, our approach can readily be applied to generate realistic details on high-resolution images.

연구 동기 및 목표

• 특정 인스턴스 수준의 얼굴 속성(예: 고유한 콧수염)을 소스 얼굴에서 타겟 얼굴로 전이하는 문제를 해결함으로써, 일반적인 속성 스타일 전이를 넘어서는 것.
• 기존의 의미 수준 전이 방법이 소스 속성의 형태, 질감 또는 스타일과 같은 샘플 고유의 특성을 유지하지 못하는 한계를 극복함.
• 쌍이 없는 훈련 데이터 없이도 큰 포즈 변화와 외관 차이(예: 조명, 피부 톤)가 있는 상황에서도 충실한 속성 전이를 가능하게 함.
• 기존의 파arametric GAN 기반 접근 방식에서 흔히 발생하는 흐릿한 결과를 피하고, 확장 가능하며 고해상도 처리가 가능한 방법을 개발함.

제안 방법

• 큰 포즈 격차가 있는 상황에서도 인스턴스 수준의 속성 변환을 안정적으로 모델링할 수 있도록, 기하학적 지오메트리에 민감한 플로를 도입하여, 지오메트리 기반의 유연하고 기하학적 일致성을 갖춘 워핑 표현을 구현함.
• 얼굴 키포인트 감독을 통해 엔드 투 엔드로 플로 네트워크를 학습시켜, 소스 속성을 타겟 얼굴에 워핑하는 과정에서 기하학적 일致성을 확보함.
• 워핑 이후의 조명, 피부 톤, 질감 불일치를 보정하기 위해 환영(보정) 서브넷을 통합하여 외관 잔차를 생성함.
• 다양한 쌍이 없는 얼굴 이미지를 활용하기 위해, 속성 전이 모듈과 속성 제거 모듈을 결합한 사이클 일치 프레임워크를 설계함.
• 재학습 없이도 플로, 마스크, 잔차 맵을 업샘플링하여 고해상도 이미지에 적용함으로써, 학습된 기하학적 플로를 고해상도 이미지에 그대로 적용함.
• 다단계 파이프라인을 적용: 먼저 기하학적 플로를 사용해 소스 속성을 워핑하고, 그 결과를 외관 잔차로 보정하여 현실감과 정확도를 향상시킴.

실험 결과

연구 질문

• RQ1 쌍이 없는 감독 없이도 기하학적 플로가 큰 포즈 변화가 있는 상황에서 인스턴스 수준의 얼굴 속성 전이를 효과적으로 모델링할 수 있는가?
• RQ2 외관 잔차 서브넷이 소스와 타겟 얼굴 간의 조명 및 피부 톤 격차와 같은 외관 격차를 얼마나 잘 보완할 수 있는가?
• RQ3 사이클 일치 학습 프레임워크가 쌍이 없는 얼굴 이미지에서 효과적으로 학습을 가능하게 하는가?
• RQ4 제안된 방법이 복잡한 국소 외 변형을 수반하는 비국소 속성(예: 엷은 눈썹, 미소)으로까지 일반화 가능한가?
• RQ5 기존의 GAN 기반 접근 방식과 비교해 본다면, 이 방법은 고해상도 얼굴 이미지 처리에 얼마나 잘 스케일링되는가?

주요 결과

• 기하학적 플로 서브넷은 충실한 속성 전이에 필수적이며, 이를 제거할 경우 FID 점수와 충실도 점수에 심각한 열화가 발생하여 흐릿하고 정확하지 못한 결과를 낳는다.
• 외관 잔차 보정 서브넷은 피부 톤과 조명 불일치를 보완함으로써 분류 정확도와 시각적 품질을 크게 향상시킨다.
• 전체 모델(GeoGAN)은 CelebA 및 CelebA-HQ에서 최고의 성능을 기록하며, FID 점수에서 뛰어난 성능과 인지적 현실감 및 속성 충실도에서 높은 사용자 선호도를 확보한다.
• 이 방법은 엷은 눈썹이나 미소와 같이 복잡한 비국소 변형을 수반하는 도전적인 비국소 속성으로도 잘 일반화되며, 플로 네트워크가 복잡한 비국소 특징을 성공적으로 전이한다.
• 저해상도 플로에서 유도된 업샘플링을 통해 고해상도 결과를 직접 생성함으로써 고주파 성분을 유지하며 재학습 없이도 고해상도 스케일링 성능을 뛰어나게 하며, 기준 모델 대비 해상도 확장성에서 슈퍼리어한 성능을 보인다.
• 사용자 연구 결과, 눈안경, 콧수염, 콧수염 등 다양한 속성에서 최고의 시각적 품질과 속성 충실도를 확보한 것은 전체 모델이 대부분의 투표를 차지한 것으로 나타났다.