[논문 리뷰] GuidedStyle: Attribute Knowledge Guided Style Manipulation for Semantic Face Editing

Xianxu Hou, Xiaokang Zhang외 3명|arXiv (Cornell University)|2020. 12. 22.

Generative Adversarial Networks and Image Synthesis참고 문헌 50인용 수 4

한 줄 요약

GuidedStyle는 사전 훈련된 얼굴 속성 분류기와 희소 어텐션 메커니즘을 활용하여 스타일 간의 분리와 제어가 가능한 방식으로 StyleGAN 내에서 의미적 얼굴 편집을 위한 새로운 프레임워크를 제안한다. 이 메커니즘은 편집을 위한 단일 스타일 레이어를 선택하며, 정상적인 신원 유지와 속성 분리도 뛰어나, 합성된 얼굴과 실제 얼굴, 예술적 초상화까지 모두에서 최신 기술을 능가한다.

ABSTRACT

Although significant progress has been made in synthesizing high-quality and visually realistic face images by unconditional Generative Adversarial Networks (GANs), there still lacks of control over the generation process in order to achieve semantic face editing. In addition, it remains very challenging to maintain other face information untouched while editing the target attributes. In this paper, we propose a novel learning framework, called GuidedStyle, to achieve semantic face editing on StyleGAN by guiding the image generation process with a knowledge network. Furthermore, we allow an attention mechanism in StyleGAN generator to adaptively select a single layer for style manipulation. As a result, our method is able to perform disentangled and controllable edits along various attributes, including smiling, eyeglasses, gender, mustache and hair color. Both qualitative and quantitative results demonstrate the superiority of our method over other competing methods for semantic face editing. Moreover, we show that our model can be also applied to different types of real and artistic face editing, demonstrating strong generalization ability.

연구 동기 및 목표

• 무조건적 GAN에서 의미적 얼굴 편집에 대한 제어 부족 문제를 해결하기 위해, 미소나 안경과 같은 특정 속성을 편집할 때의 제어력을 향상시키는 것.
• 잠재 공간 편집에서 발생하는 엉키는 문제(Entanglement)를 해결하여, 한 속성의 변경이 다른 속성에 부작용하지 않도록 하는 것.
• 잠재 공간 내 선형 방향을 사전 정의하는 데 의존하지 않고도 제어 가능하고 분리된 편집을 가능하게 하는 것.
• 합성 훈련 데이터를 초월하여 다양한 얼굴 유형, 실제 이미지와 예술적 초상화까지 일반화 가능한 것.
• 생성 모델과 사전 훈련된 속성 분류기를 통합한 공동 학습 프레임워크를 통해 의미적 가이던스를 제공하는 것.

제안 방법

• 사전 훈련된 얼굴 속성 분류기를 기반으로 한 지식 네트워크가 잠재 공간 내의 조작 네트워크를 지도 신호로 유도한다.
• 희소 어텐션 메커니즘이 스타일 간의 분리를 향상시키기 위해 스타일 간의 편집을 위한 단일 스타일 레이어를 동적으로 선택한다.
• 프레임워크는 속성 분류기의 예측 결과를 지도 신호로 사용하여 생성자와 조작 네트워크를 공동으로 훈련시킨다.
• 이 방법은 StyleGAN2의 잠재 공간에서 작동하여 고해상도 편집을 가능하게 하며, 신원과 다른 얼굴 속성 유지에 유리하다.
• 프로젝션 기반 추론 파이프라인을 통해 실제 얼굴 이미지를 먼저 잠재 공간으로 인코딩한 후 편집을 수행한다.
• 이 방법은 FID, SWD, 코사인 유사도, 유클리드 거리 등을 사용하여 이미지 품질과 신원 유지 정도를 측정한다.

실험 결과

연구 질문

• RQ1 사전 훈련된 분류기에서 온 속성 유도 지식이 StyleGAN 내 의미적 얼굴 편집의 제어성과 분리도를 향상시키는가?
• RQ2 어텐션을 통한 단일 스타일 레이어의 적응적 선택이 더 정밀하고 고립된 속성 편집을 가능하게 하는가?
• RQ3 제안된 방법은 훈련 분포를 초월하여 실제 얼굴 이미지와 예술적 초상화에 일반화 가능한가?
• RQ4 기존 최신 기술과의 정량적·정성적 비교에서 이 방법은 어떻게 성능을 보이는가?
• RQ5 이 방법은 얼마나 잘 신원을 유지하며, 타겟으로 지정하지 않은 속성에 대한 의도하지 않은 변화를 방지하는가?

주요 결과

• GuidedStyle는 프레셰 이尼斯티션 디스턴스(FID) 41.79를 기록하여 InterFaceGAN(49.90)과 Image2StyleGAN(53.08)을 뛰어넘어 이미지 품질과 분포 유사도 측면에서 뛰어난 성능을 보였다.
• 이 방법은 코사인 유사도(CS) 0.64와 유클리드 거리(ED) 0.79를 기록하여 경쟁 기술 대비 강력한 신원 유지 능력을 입증하였다.
• 정성적 결과에서는 미소, 안경, 콧수염, 헤어 컬러 등의 속성 편집이 매우 분리되어 있으며, 다른 얼굴 기능에 대한 의도하지 않은 영향이 최소화됨을 확인하였다.
• 모델은 예술적 초상화에 대해서도 효과적으로 일반화되어, 안경과 표정 변화 같은 속성 편집을 수행하면서도 적절한 프레임 맞춤과 색상 일관성을 유지하였다.
• 실제 얼굴 이미지에서는 자세나 피부 톤, 헤어 스타일을 변경하지 않고도 현실적인 안경을 성공적으로 추가하였다. 이는 뛀난 일반화 능력을 확인하는 데 기여한다.
• 희소 어텐션 메커니즘은 단일 스타일 레이어에 집중된 편집을 가능하게 하여, 더 나은 분리도와 속성 조작 제어에 기여하였다.