[논문 리뷰] MulGAN: Facial Attribute Editing by Exemplar

Jingtao Guo, Zhenzhen Qian외 2명|arXiv (Cornell University)|2019. 12. 28.

Face recognition and analysis참고 문헌 23인용 수 10

한 줄 요약

MulGAN은 예시 이미지를 사용하여 다중 속성 얼굴 이미지 편집을 위한 새로운 GAN 기반 프레임워크를 제안한다. 예시 이미지의 속성 레이블을 사전 정의된 잠재 특징 블록에 직접 제약를 걸어, 동시에 여러 속성을 편집하면서도 정체성 세부 정보를 유지할 수 있도록 한다. 다운샘플링 레이어를 줄이고 속성 분류기 손실을 도입함으로써, 이전의 예시 기반 방법들에 비해 더 뛰어난 속성 전달 정확도와 이미지 품질을 달성한다.

ABSTRACT

Recent studies on face attribute editing by exemplars have achieved promising results due to the increasing power of deep convolutional networks and generative adversarial networks. These methods encode attribute-related information in images into the predefined region of the latent feature space by employing a pair of images with opposite attributes as input to train model, the face attribute transfer between the input image and the exemplar can be achieved by exchanging their attribute-related latent feature region. However, they suffer from three limitations: (1) the model must be trained using a pair of images with opposite attributes as input; (2) weak capability of editing multiple attributes by exemplars; (3) poor quality of generating image. Instead of imposing opposite-attribute constraints on the input image in order to make the attribute information of images be encoded in the predefined region of the latent feature space, in this work we directly apply the attribute labels constraint to the predefined region of the latent feature space. Meanwhile, an attribute classification loss is employed to make the model learn to extract the attribute-related information of images into the predefined latent feature region of the corresponding attribute, which enables our method to transfer multiple attributes of the exemplar simultaneously. Besides, a novel model structure is designed to enhance attribute transfer capabilities by exemplars while improve the quality of the generated image. Experiments demonstrate the effectiveness of our model on overcoming the above three limitations by comparing with other methods on the CelebA dataset.

연구 동기 및 목표

• 이전의 예시 기반 방법들이 반대 속성 쌍 훈련 제약로 인해 동시에 하나의 속성만 편집할 수 있는 한계를 해결하기 위해.
• 에ncoder-디코더 아키텍처에서 과도한 다운샘플링으로 인한 낮은 이미지 품질 문제를 극복하기 위해.
• 단일 예시 이미지를 사용하여 동시에 여러 얼굴 속성을 편집할 수 있도록 하기 위해.
• 쌍으로 훈련된 데이터에 의존하지 않고 사전 정의된 잠재 블록에 직접 속성 레이블을 적용함으로써 속성 전달 정밀도를 향상시키기 위해.
• 다운샘플링 레이어를 줄여 세밀한, 속성과 무관한 세부 정보의 손실를 최소화함으로써 생성 품질을 향상시키기 위해.

제안 방법

• 모델은 잠재 특징 맵을 채널 차원에 따라 속성 관련 및 속성 무관 부분으로 나누어 정체성 세부 정보를 유지한다.
• 속성 관련 특징은 블록 단위로 나뉘며, 각각 특정 얼굴 속성(예: 번스, 미소)에 전용으로 할당된다.
• 이진 속성 레이블이 잠재 공간의 사전 정의된 속성 관련 블록에 직접 적용되어 특징 학습을 안내한다.
• 속성 분류기가 해당 잠재 블록에 속성 특화된 정보를 추출하고 유지하도록 모델을 강제한다.
• 생성자는 표준 오토인코더보다 더 적은 다운샘플링 레이어를 사용하여 세밀한 디테일을 유지하고 이미지 품질을 향상시킨다.
• 판별자는 현실적인 이미지 생성을 보장하고, 속성 분류기는 감독을 통해 정확한 속성 전달을 강화한다.

실험 결과

연구 질문

• RQ1 예시 이미지에서 반대 속성 훈련 데이터가 필요 없이 동시에 여러 얼굴 속성을 전달할 수 있는가?
• RQ2 잠재 특징 블록에 직접 레이블을 적용하는 것이 쌍 기반 훈련 대비 다중 속성 전달 성능을 어떻게 향상시키는가?
• RQ3 다운샘플링 레이어를 줄이는 것이 예시 기반 편집에서 속성 전달 정밀도와 이미지 품질에 얼마나 기여하는가?
• RQ4 정체성 세부 정보를 유지하면서도 높은 품질의 속성 스타일 전달과 날카우며 현실적인 이미지 생성이 가능한가?
• RQ5 기존의 예시 기반 및 레이블 기반 얼굴 속성 편집 접근법과 비교해 본다면, 제안된 방법은 정량적·정성적으로 어떻게 다른가?

주요 결과

• 사용자 연구에서 MulGAN은 경쟁 기법들을 압도하며, 참가자 95%가 번스, 미소, 안경 등의 전달된 속성 스타일이 예시와 관련성이 있다고 평가했다.
• 모델은 기준 방법들보다 낮은 FID 점수를 기록하여 실제 데이터 분포에 가까운 고품질의 이미지 생성을 보였다.
• 네 개의 다운샘플링 레이어가 속성 전달 정확도와 이미지 품질 사이의 최적의 균형을 이루며, 세 개나 다섯 개의 레이어보다 우수한 성능을 보였다.
• 제거 분석 결과, 더 적은 다운샘플링 레이어가 더 많은 세밀한 디테일을 유지함으로써 속성 전달 정밀도와 시각적 정밀도를 향상시킨다는 것이 확인되었다.
• 이 방법은 이진 레이블 벡터를 통해 제어 가능한 다중 속성 편집을 가능하게 하여 사용자가 예시에서 어떤 속성을 전달할지 선택할 수 있도록 한다.
• 속성 분류기 손실은 잠재 공간에서 분리된, 속성 특화된 표현을 학습하도록 모델을 효과적으로 안내하여 전달 일관성을 향상시켰다.