[논문 리뷰] DeepFaceEditing: Deep Face Generation and Editing with Disentangled Geometry and Appearance Control

Shuyu Chen, Fenglin Liu외 5명|arXiv (Cornell University)|2021. 05. 19.

Generative Adversarial Networks and Image Synthesis참고 문헌 59인용 수 12

한 줄 요약

DeepFaceEditing는 얼굴 생성 및 편집을 위한 구조적 분리 프레임워크를 제안하며, 국소에서 전역으로의 접근 방식을 통해 얼굴의 기하학적 구조와 외관을 분리한다. 스케치를 공통된 기하학적 표현으로 활용하고, 국소적 분리에 스위핑 전략을 적용함으로써 얼굴의 형태와 외관에 대해 미세 조절이 가능하고 직관적인 제어를 가능하게 하여 기존 최신 기술 대비 더 높은 세부 사항과 정밀도를 달성한다.

ABSTRACT

Recent facial image synthesis methods have been mainly based on conditional generative models. Sketch-based conditions can effectively describe the geometry of faces, including the contours of facial components, hair structures, as well as salient edges (e.g., wrinkles) on face surfaces but lack effective control of appearance, which is influenced by color, material, lighting condition, etc. To have more control of generated results, one possible approach is to apply existing disentangling works to disentangle face images into geometry and appearance representations. However, existing disentangling methods are not optimized for human face editing, and cannot achieve fine control of facial details such as wrinkles. To address this issue, we propose DeepFaceEditing, a structured disentanglement framework specifically designed for face images to support face generation and editing with disentangled control of geometry and appearance. We adopt a local-to-global approach to incorporate the face domain knowledge: local component images are decomposed into geometry and appearance representations, which are fused consistently using a global fusion module to improve generation quality. We exploit sketches to assist in extracting a better geometry representation, which also supports intuitive geometry editing via sketching. The resulting method can either extract the geometry and appearance representations from face images, or directly extract the geometry representation from face sketches. Such representations allow users to easily edit and synthesize face images, with decoupled control of their geometry and appearance. Both qualitative and quantitative evaluations show the superior detail and appearance control abilities of our method compared to state-of-the-art methods.

연구 동기 및 목표

• 기존 얼굴 합성 기법에서 얼굴 기하학과 외관에 대한 미세 조절의 부족을 해결하기 위해.
• 얼굴 구조에 대한 도메인 특화 지식을 통합함으로써 얼굴 이미지에서 기하학과 외관의 분리를 향상시키기 위해.
• 고품질의 외관과 기하학적 세부 사항을 유지하면서 스케치를 사용한 직관적인 편집을 가능하게 하기 위해.
• 외관 전이, 기하학적 교체, 분리된 제어를 통한 동시 편집과 같은 다양한 편집 작업을 지원하기 위해.
• 기하학과 외관 공간에서의 제어 가능한 인터폴레이션을 지원하는 신뢰할 수 있고 분리된 분리 구조를 달성하기 위해.

제안 방법

• 국소에서 전역으로의 프레임워크로, 두 핵심 모듈을 포함: 국소 분리(LD)는 구성 요소 수준의 기하학과 외관 분리를 담당하고, 전역 융합(GF)은 일관된 이미지 재구성에 기여한다.
• 국소 분리(LD) 모듈은 쌍체 이미지와 스케치를 사용하여 분리된 표현을 추출하며, 기하학은 스케치와 이미지 간의 공유 공간으로 인코딩된다.
• LD 모듈은 학습 중 스위핑 전략을 적용하여 기하학 표현과 외관 표현 간의 분리를 보장한다.
• GF 모듈은 주로 눈, 코, 입 등의 얼굴 구성 요소에서 유도된 국소 표현을 주의 기반 융합을 통해 전역적으로 일관된 얼굴 이미지로 융합한다.
• 스케치는 기하학 추출을 안내하기 위한 입력으로 사용되며, 주름과 같은 얼굴 구조와 세부 사항의 직관적 편집을 가능하게 한다.
• 외관 제어는 참조 이미지를 통해 이루어지며, 색상, 조명, 재질 특성 등을 유지하면서 소스 기하학을 그대로 보존한다.

실험 결과

연구 질문

• RQ1 스케치를 중간 기하학 표현으로 사용하여 얼굴 기하학과 외관의 분리 표현을 효과적으로 학습할 수 있는가?
• RQ2 얼굴 구성 요소의 국소적 분리가 얼굴 생성 및 편집의 정밀도와 제어 가능성에 기여하는가?
• RQ3 전역 융합 모듈이 분리된 국소 특징에서 고품질이고 일관된 얼굴 이미지를 효과적으로 재구성하는가?
• RQ4 이 프레임워크는 외관 전이, 기하학적 교체, 직관적 제어를 통한 동시 편집과 같은 다양한 편집 작업을 지원하는가?
• RQ5 기하학과 외관 차원에서의 분리된 인터폴레이션 성능이 기존 최신 기술 대비 어떻게 되는가?

주요 결과

• 이 방법은 다양한 편집 작업에서 높은 현실성과 일관성을 보이며, 얼굴 편집에서 뛰어난 세부 사항 제어와 외관 제어를 달성한다.
• 기하학과 외관 잠재 공간에서의 제어 가능한 선형 인터폴레이션은 고정밀도 중간 얼굴을 생성하여 명확한 분리가 이루어졌음을 입증한다.
• 이 프레임워크는 주름과 같은 세부 사항까지 포함된 얼굴 기하학의 직관적 스케치 기반 편집을 지원하며, 최소한의 아티팩트를 유발한다.
• 참조 이미지에서의 외관 전이는 소스 기하학을 유지하면서 색상과 재질 특성을 충실하게 재구성한다.
• 정성적 및 정량적 평가에서 이 방법은 기하학적 세부 사항과 외관 정밀도를 유지하는 데서 특히 뛰어난 성능을 보이며, 기존 최신 기술을 능가한다.
• 한계점으로는 비면상의 얼굴에서 성능 저하가 발생하고, 가림이나 복잡한 조명 조건에서는 문제가 발생하여 결과에 색조 편향이 발생할 수 있다.