[논문 리뷰] Fully-Featured Attribute Transfer

De Xie, Muli Yang외 3명|arXiv (Cornell University)|2019. 02. 17.

Advanced Image Processing Techniques참고 문헌 34인용 수 7

한 줄 요약

이 논문은 다양체 학습을 활용하여 이미지의 속성과 배경을 분리하는 새로운 GAN 기반 프레임워크인 AME-GAN을 제안한다. 속성 잠재 변수는 정규 분포로, 배경 잠재 변수는 균일 분포로 모델링하고, 조건부 다중 스케일 판별자를 적용하여, 얼굴 및 비얼굴 이미지에서 단일 및 다중 속성에 대해 고해상도, 제어 가능하고 아티팩트 없는 속성 전이를 달성한다.

ABSTRACT

Image attribute transfer aims to change an input image to a target one with expected attributes, which has received significant attention in recent years. However, most of the existing methods lack the ability to de-correlate the target attributes and irrelevant information, i.e., the other attributes and background information, thus often suffering from blurs and artifacts. To address these issues, we propose a novel Attribute Manifold Encoding GAN (AME-GAN) for fully-featured attribute transfer, which can modify and adjust every detail in the images. Specifically, our method divides the input image into image attribute part and image background part on manifolds, which are controlled by attribute latent variables and background latent variables respectively. Through enforcing attribute latent variables to Gaussian distributions and background latent variables to uniform distributions respectively, the attribute transfer procedure becomes controllable and image generation is more photo-realistic. Furthermore, we adopt a conditional multi-scale discriminator to render accurate and high-quality target attribute images. Experimental results on three popular datasets demonstrate the superiority of our proposed method in both performances of the attribute transfer and image generation quality.

연구 동기 및 목표

• 기존의 속성 전이 방법이 배경 및 관련 없는 속성과의 분리에 한계를 보이는 문제를 해결한다.
• 흐림이나 아티팩트 없이 모든 이미지 세부 사항을 수정할 수 있는 완전한 기능을 갖춘 제어 가능한 속성 전이를 가능하게 한다.
• 고해상도 성능을 유지하면서 단일 및 다중 속성 전이를 모두 처리할 수 있는 통합 프레임워크를 개발한다.
• 배경 잠재 변수에 균일 분포 제약을 적용하여 배경 일관성을 모델링함으로써 현실적인 이미지 생성을 보장한다.

제안 방법

• 다양체 학습을 통해 이미지를 속성 및 배경 구성요소로 분리하고, 각각의 부분다양체($\mathcal{M}_A$ 및 $\mathcal{M}_B$)에 투영한다.
• 속성 잠재 변수에 독립적이고 동일한 분포를 가진 정규 분포를 적용하여 속성의 다양성과 독립성을 모델링한다.
• 배경 잠재 변수가 균일 분포를 따르도록 강제하여 배경 일관성을 유지하고 아티팩트를 감소시킨다.
• 생성된 이미지의 정확성과 해상도를 향상시키기 위해 속성 인식 조건부 다중 스케일 판별자를 사용한다.
• 각각의 잠재 코드에서 해당 부분을 재구성하기 위해 속성 디코더와 배경 디코더를 갖춘 이중 디코더 아키텍처를 사용한다.
• 하이퍼파rameter $\theta$를 통한 제어 가능한 전이 메커니즘을 도입하여 속성 잠재 변수의 진폭을 조절함으로써 점진적인 속성 강도 제어를 가능하게 한다.

실험 결과

연구 질문

• RQ1 다양체 기반 분리 기법이 이미지 속성과 배경 및 관련 없는 특징을 효과적으로 분리할 수 있는가?
• RQ2 속성 및 배경 잠재 변수에 정규 분포와 균일 분포를 강제 적용함으로써 이미지의 현실성 향상과 아티팩트 감소에 기여하는가?
• RQ3 제안된 방법이 단일 및 다중 속성에 대해 고품질의 제어 가능한 속성 전이를 달성할 수 있는가?
• RQ4 조건부 다중 스케일 판별자가 전이된 이미지의 지각적 품질과 해상도에 어떤 기여를 하는가?
• RQ5 이 프레임워크는 얼굴 속성 전이를 넘어 다른 이미지 간 전이 작업으로 일반화될 수 있는가?

주요 결과

• AME-GAN은 CelebA 데이터셋에서 여덟 가지 속성에 대해 평균 속성 전이 정확도가 가장 높으며, StarGAN, AttGAN 및 기타 기준 모델들을 능가한다.
• AME-GAN은 전이된 이미지에서 평균 지각 유사도 오차(LPIPS v0.1)가 가장 낮아, 뛰어난 현실성과 흐림 또는 아티팩트 감소를 나타낸다.
• 시각적 결과에서 AME-GAN은 특히 복잡한 다중 속성 조합 상황에서 StarGAN 및 AttGAN에 비해 더 선명하고 현실적인 이미지를 생성한다.
• 하이퍼파rameter $\theta$의 점진적 조정을 통해 제어 가능한 속성 전이가 성공적으로 구현되었으며, 속성 강도의 부드러운 조절이 가능하다.
• CUB 데이터셋에서 깃털 색상 전이에 성공적으로 적용되어 시각적으로 타당한 결과를 도출함으로써, 비얼굴 속성 전이로의 일반화 성능이 뛰어나다는 것을 보여준다.
• 조건부 다중 스케일 판별자가 이미지 품질을 크게 향상시켰으며, 생성된 이미지에서 더 선명한 질감과 더 세밀한 디테일이 확인된다.