[논문 리뷰] Attribute2Image: Conditional Image Generation from Visual Attributes

Xinchen Yan, Shuicheng Yan외 2명|arXiv (Cornell University)|2015. 12. 02.

Generative Adversarial Networks and Image Synthesis참고 문헌 54인용 수 95

한 줄 요약

이 논문은 시각적 속성에서 다채롭고 현실적인 이미지를 생성하기 위해 배경과 전경의 잠재 변수를 분리하는 계층적 생성 모델을 갖춘 조건부 변동 자동차ncoder(변동 자동차ncoder)인 Attribute2Image를 제안한다. 이미지 생성을 전경과 배경 층의 조합으로 모델링하고 형상 인식 블렌딩을 사용함으로써, 이 방법은 속성 조건화된 이미지 생성, 재구성 및 완성에서 최신 기술 수준의 성능을 달성하며, 속성 유사도와 샘플 품질 측면에서 정량적 향상을 보였다.

ABSTRACT

This paper investigates a novel problem of generating images from visual attributes. We model the image as a composite of foreground and background and develop a layered generative model with disentangled latent variables that can be learned end-to-end using a variational auto-encoder. We experiment with natural images of faces and birds and demonstrate that the proposed models are capable of generating realistic and diverse samples with disentangled latent representations. We use a general energy minimization algorithm for posterior inference of latent variables given novel images. Therefore, the learned generative models show excellent quantitative and visual results in the tasks of attribute-conditioned image reconstruction and completion.

연구 동기 및 목표

• 성별, 연령, 표정, 헤어 컬러와 같은 고수준 시각적 속성에 조건부로 현실적이고 다양한 이미지를 생성하는 데 도전하는 것.
• 전경 객체와 배경을 별도의 잠재 요인으로 분리하여 이미지를 층화된 조합으로 모델링함으로써 이미지 생성 품질을 향상시키는 것.
• 일반적인 최적화 기반 방법을 사용해 새로운 이미지에 대한 사후 추론을 가능하게 하여 이미지 재구성 및 완성과 같은 작업을 수행하는 것.
• 분리된 잠재 표현이 조건부 이미지 생성에서 더 나은 속성 제어와 샘플 다양성으로 이어지는지 입증하는 것.

제안 방법

• 모델는 전경 및 배경 잠재 변수를 위한 별도의 인코더와 디코더를 갖춘 조건부 변동 자동차ncoder(CVAE)을 사용하며, 재구성 기법과 재파arameterization 기법을 통해 백프로파게이션을 통한 엔드 투 엔드 학습이 가능하다.
• 전경과 배경은 별도로 생성된다: 전경은 속성과 잠재 코드에 조건부로 생성되고, 배경은 자체의 잠재 코드로부터 생성되며, 형상 맵이 배경의 가시도를 제어한다.
• 이미지 조합은 전경 층과 게이트가 전경의 형상 맵에 의해 결정되는 게이트된 배경 층을 합하여 달성된다.
• 사후 추론을 위해 일반적인 에너지 최소화 알고리즘이 사용되며, 관측된 이미지 패치에 기반해 잠재 변수를 최적화함으로써 재구성 및 완성을 가능하게 한다.
• 모델는 공유된 속성 스트림과 전경 및 배경에 대해 별도의 인코더/디코더 네트워크를 갖춘 분리된 CVAE(disCVAE) 아키텍처를 사용하며, 컨볼루션 및 완전 연결 계층에 스위프 커넥션을 적용한다.
• 학습 목표는 후행 근사의 KLD 항과 이미지 및 형상 맵 예측에 대한 재구성 손실을 포함하는 변동 하한(lower bound)이다.

실험 결과

연구 질문

• RQ1 심층 생성 모델은 전경 및 배경 요인의 분리된 표현을 유지하면서도, 시각적 속성에 조건부로 현실적이고 다양한 이미지를 생성할 수 있는가?
• RQ2 학습된 사전 확률을 기반으로 한 사후 추론을 통해 부분 관측된 이미지를 얼마나 잘 재구성하거나 완성할 수 있는가?
• RQ3 전경과 배경을 별도의 층으로 명시적으로 모델링하는 것이 통합 모델링에 비해 이미지 생성 품질을 향상시키는가?
• RQ4 모델의 분리된 잠재 변수가 성별, 연령, 표정과 같은 의미 있는 의미론적 속성을 얼마나 잘 반영하는가?
• RQ5 제안된 최적화 기반 사후 추론 방법은 기존 방법에 비해 이미지 재구성 및 속성 정확도 측면에서 어떻게 비교되는가?

주요 결과

• disCVAE 모델은 속성 공간에서 코사인 유사도 0.9057을 달성하여, 가장 가까운 이웃(0.8719)과 블러드 가장 가까운 이웃(0.8291) 기반 방법보다 유의하게 뛰어나다.
• 생성 샘플의 예측 속성에 대한 평균 제곱 오차(MSE)는 16.71로, 가장 가까운 이웃 기반 방법(21.88)보다 낮아 속성 유지도가 더 뛰어나다는 것을 나타낸다.
• 모델는 속성에 조건부로 다양하고 현실적인 샘플을 생성하며, 정성적 결과는 높은 시각적 정확도와 정확한 속성 일치를 보여준다.
• 최적화를 통한 사후 추론은 효과적인 이미지 재구성 및 완성을 가능하게 하여, 부분 관측에 대한 모델의 강건성을 입증한다.
• 분리된 잠재 공간은 생성된 층의 시각적 분 析를 통해 전경 및 배경 요인의 의미 있는 분리가 이루어졌음을 보여준다.
• 절단 실험은 통합 모델링에 비해 명시적인 전경-배경 모델링이 속성 정확도와 샘플 품질 향상에 기여함을 확인한다.