[논문 리뷰] A comprehensive survey on semantic facial attribute editing using generative adversarial networks

Ahmad Nickabadi, Maryam Saeedi Fard외 2명|arXiv (Cornell University)|2022. 05. 21.

Face recognition and analysis인용 수 8

한 줄 요약

이 종합 검토는 생성적 적대적 네트워크(GANs)를 사용한 의미론적 얼굴 속성 편집에 대한 포괄적인 분석을 제공하며, 최신 기술 모델을 인코더-디코더, 이미지 간 번역, 사진 가이드 아키텍처로 분류한다. 손실 함수, 데이터셋, 평가 지표 및 응용 분야 등의 핵심 구성 요소를 검토하면서도, 속성의 엉키는 현상, 저해상도 출력, 데이터셋 편향 등의 지속적인 과제를 밝혀낸다.

ABSTRACT

Generating random photo-realistic images has experienced tremendous growth during the past few years due to the advances of the deep convolutional neural networks and generative models. Among different domains, face photos have received a great deal of attention and a large number of face generation and manipulation models have been proposed. Semantic facial attribute editing is the process of varying the values of one or more attributes of a face image while the other attributes of the image are not affected. The requested modifications are provided as an attribute vector or in the form of driving face image and the whole process is performed by the corresponding models. In this paper, we survey the recent works and advances in semantic facial attribute editing. We cover all related aspects of these models including the related definitions and concepts, architectures, loss functions, datasets, evaluation metrics, and applications. Based on their architectures, the state-of-the-art models are categorized and studied as encoder-decoder, image-to-image, and photo-guided models. The challenges and restrictions of the current state-of-the-art methods are discussed as well.

연구 동기 및 목표

• GAN을 활용한 의미론적 얼굴 속성 편집 분야의 최근 발전을 체계적으로 검토하는 것.
• 모델의 아키텍처 설계에 기반해 최신 기술 모델을 인코더-디코더, 이미지 간 번역, 사진 가이드 프레임워크로 분류하는 것.
• 손실 함수, 데이터셋 및 평가 지표가 모델 성능에 미치는 영향을 분석하는 것.
• 현재 방법에서 지속적으로 나타나는 핵심적 한계, 예를 들어 속성의 엉키는 현상, 저해상도 이미지, 데이터셋 편향을 식별하는 것.
• 의미론적 얼굴 편집 분야의 열린 과제와 향후 연구 방향을 부각하는 것.

제안 방법

• 얼굴 속성 편집 모델을 주로 세 가지 아키텍처로 분류: 인코더-디코더, 이미지 간 번역, 사진 가이드 모델.
• 학습에 사용된 손실 함수를 검토하며, 재구성 손실, 속성 분류 손실, 적대적 손실을 포함한다.
• 학습에 사용된 데이터셋을 분석하며, 다양성 부족, 인종적 미대비, 속성 불균형 등의 문제점을 지적한다.
• 평가 지표를 검토하며, 전용 정량적 지표가 부족하여 인간 평가에 의존하는 것이 주요 기준임을 강조한다.
• 프로파일 뷰, 가림, 희귀 얼굴 속성 등 도전적인 조건에서의 모델 행동을 조사한다.
• 모델 아키텍처와 학습 데이터가 이미지 품질과 속성 분리도에 미치는 영향을 평가한다.

실험 결과

연구 질문

• RQ1 인코더-디코더, 이미지 간 번역, 사진 가이드 아키텍처로 구성된 다양한 GAN 기반 아키텍처가 의미론적 얼굴 속성 편집에서 어떻게 성능을 내는가?
• RQ2 현재 얼굴 속성 편집 모델이 희귀하거나 복잡한 얼굴 조건을 다룰 때 겪는 주요 한계는 무엇인가?
• RQ3 기존 데이터셋과 평가 프로토콜이 모델의 일반화 능력과 공정성에 얼마나 제약을 가하는가?
• RQ4 손실 함수가 생성된 출력에서 속성 분리도와 이미지 충실도에 어떻게 영향을 미치는가?
• RQ5 고해상도, 아티팩트 없고 의미적으로 일관된 얼굴 편집을 달성하기 위한 주요 과제는 무엇인가?

주요 결과

• 현재 최신 기술 모델은 프로파일 뷰나 가림이 있는 얼굴의 편집에 어려움을 겪으며, 일반화 능력이 제한되어 있어 만족스럽지 못한 결과를 낳는다.
• 대부분의 모델은 미스매치된 속성 분포를 가진 편향된 데이터셋으로 훈련되어 있으며, 특히 미소지거나 중립적인 표정이 과도하게 포함되어 있다.
• 이미지 해상도는 여전히 핵심적 한계로 남아 있으며, 고해상도 생성 기술의 발전에도 불구하고 많은 모델이 저해상도 입력(예: 128×128 또는 384×384)을 사용하고 있다.
• 속성 편집 성능 평가를 위한 표준화된 전용 정량적 지표가 없으며, 인간 평가가 여전히 주요 기준으로 남아 있다.
• 속성의 엉키는 현상이 여전히 존재하여, 한 속성의 변경이 다른 속성에 간접적으로 영향을 미치며, 특히 복잡하거나 비표준적인 얼굴 이미지에서는 더욱 두드러진다.
• FaceShifter와 같은 모델은 가림에 대한 강건성이 향상되었지만, 이러한 능력은 흔치 않으며 아키텍처 간 일반화가 어렵다.