[논문 리뷰] ELEGANT: Exchanging Latent Encodings with GAN for Transferring Multiple Face Attributes

Taihong Xiao, Jiapeng Hong외 1명|arXiv (Cornell University)|2018. 03. 28.

Face recognition and analysis참고 문헌 28인용 수 27

한 줄 요약

ELEGANT는 두 입력 이미지 간의 분리된 잠재 인코딩을 교환함으로써 다수의 얼굴 속성을 전달하는 GAN 기반 모델을 제안한다. 하나의 이미지에는 목표 속성이 포함되어 있고, 다른 하나는 포함되어 있지 않다. 잔차 학습과 다중 해상도 판별자를 활용하여 고해상도, 고정밀도의 이미지 생성이 가능해지며, 정체성 유지 및 잡음 감소를 동시에 달성한다.

ABSTRACT

Recent studies on face attribute transfer have achieved great success. A lot of models are able to transfer face attributes with an input image. However, they suffer from three limitations: (1) incapability of generating image by exemplars; (2) being unable to transfer multiple face attributes simultaneously; (3) low quality of generated images, such as low-resolution or artifacts. To address these limitations, we propose a novel model which receives two images of opposite attributes as inputs. Our model can transfer exactly the same type of attributes from one image to another by exchanging certain part of their encodings. All the attributes are encoded in a disentangled manner in the latent space, which enables us to manipulate several attributes simultaneously. Besides, our model learns the residual images so as to facilitate training on higher resolution images. With the help of multi-scale discriminators for adversarial training, it can even generate high-quality images with finer details and less artifacts. We demonstrate the effectiveness of our model on overcoming the above three limitations by comparing with other methods on the CelebA face database. A pytorch implementation is available at https://github.com/Prinsphield/ELEGANT.

연구 동기 및 목표

• 기존 얼굴 속성 전이 방법의 한계를 해결: 예시 이미지 사용 불가, 단일 속성 전이, 낮은 해상도의 이미지 품질.
• 잠재 공간 내에서 속성 표현을 분리함으로써 다중 얼굴 속성의 동시에 전이 가능하도록 구현.
• 잔차 학습과 다중 해상도 판별자를 통해 고해상도 이미지에서 학습 안정성과 이미지 품질 향상.
• 추가적인 정체성 인코더나 소거 연산의 필요성을 제거하여 아키텍처를 단순화하고 비현실적인 해법을 방지함.

제안 방법

• 모델은 두 개의 입력 이미지를 취한다: 하나는 목표 속성이 포함된 이미지이고, 다른 하나는 포함되어 있지 않은 이미지이며, 이들의 특정 부분에 대해 분리된 잠재 인코딩을 교환하여 속성 전이를 수행한다.
• 잠재 공간 내에서 분리된 속성 표현을 학습함으로써 다중 속성의 독립적 조작이 가능해진다.
• 잔차 학습을 적용하여 생성자 모델이 원본 이미지와 목표 이미지 간의 차이(잔차)만 예측하도록 학습함으로써 고해상도 이미지에서의 학습 안정성을 향상시킨다.
• U-Net 기반의 생성자 아키텍처를 사용하여 잔차 이미지를 재구성함으로써 정체성과 배경 세부 정보를 유지한다.
• 다양한 해상도에서 다중 해상도 판별자를 적용하여 시각적 품질 향상과 더 세밀한 디테일 생성을 개선한다.
• 추가적인 정체성 인코더나 소거 연산을 피함으로써 아키텍처의 복잡성을 줄이고 비현실적인 해법을 방지한다.

실험 결과

연구 질문

• RQ1 쌍화된 훈련 데이터가 없이도 두 개의 예시 이미지만으로 효과적으로 얼굴 속성 전이가 가능할 수 있는가?
• RQ2 단일 생성 과정에서 다수의 얼굴 속성을 어떻게 분리된 잠재 공간 내에서 분리하고 동시에 조작할 수 있는가?
• RQ3 잔차 학습이 고해상도 얼굴 이미지를 생성할 때 학습 안정성과 이미지 품질 향상에 기여할 수 있는가?
• RQ4 다중 해상도 판별자가 생성된 얼굴 이미지의 정밀도와 디테일 품질 향상에 어느 정도 기여하는가?
• RQ5 정체성 인코더나 복잡한 연산(예: 소거) 없이도 정체성 유지가 유지될 수 있는가?

주요 결과

• ELEGANT는 CelebA 데이터셋에서 다수의 속성에 대해 최신 기준(FID)을 달성하였으며, 붉은 머리카락(추가)의 경우 30.71, 미소 지은 얼굴(추가)의 경우 31.12, 안경 제거의 경우 24.88을 기록하여 높은 이미지 품질을 입증하였다.
• 모델은 통합된 속성 벡터에 의존하지 않고 다양한 스타일의 속성(예: 다양한 매부리코, 안경, 헤어 컬러)을 전이할 수 있어 스타일에 특화된 전이가 가능하다.
• 잔차 이미지를 학습함으로써 ELEGANT는 학습 안정성을 확보하고 고해상도 이미지 생성(최대 256×256)을 가능하게 하여 잡음 감소와 시각적 정밀도 향상을 달성하였다.
• 추가 정체성 인코더나 소거 연산이 없어 아키텍처가 단순화되었고, 비현실적인 해법을 방지함으로써 학습 안정성이 향상되었다.
• 다중 해상도 판별자는 세부 디테일 생성에 크게 기여하였으며, 정성적 결과를 통해 더 선명한 질감과 더 자연스러운 전환을 보여주었다.
• ELEGANT는 CycleGAN, StarGAN, DNA-GAN에 비해 대부분의 속성에서 FID 점수에서 승리하였으며, 특히 예시 기반 설정에서 도전적인 성능을 보이며 뛰어난 일반화 능력과 현실성 확보를 입증하였다.