[논문 리뷰] Multi-View Image Generation from a Single-View

Bo Zhao, Xiao Wu외 4명|arXiv (Cornell University)|2017. 04. 17.

Generative Adversarial Networks and Image Synthesis참고 문헌 34인용 수 41

한 줄 요약

이 논문은 단일 뷰 입력으로부터 다중 뷰 의류 이미지를 합성하는 데 있어, 전반적인 외관 모델링을 위한 변분 추론과 고해상도 세부 사항 생성을 위한 적대적 학습을 결합한 새로운 코arse-to-fine 생성 모델인 VariGANs를 제안한다. 이 방법은 MVC 및 DeepFashion 데이터셋에서 기존 방법들보다 더 현실적이며 세밀하고 시각 일관성 있는 이미지를 생성하여 최신 기술 수준의 성능을 달성한다.

ABSTRACT

This paper addresses a challenging problem -- how to generate multi-view cloth images from only a single view input. To generate realistic-looking images with different views from the input, we propose a new image generation model termed VariGANs that combines the strengths of the variational inference and the Generative Adversarial Networks (GANs). Our proposed VariGANs model generates the target image in a coarse-to-fine manner instead of a single pass which suffers from severe artifacts. It first performs variational inference to model global appearance of the object (e.g., shape and color) and produce a coarse image with a different view. Conditioned on the generated low resolution images, it then proceeds to perform adversarial learning to fill details and generate images of consistent details with the input. Extensive experiments conducted on two clothing datasets, MVC and DeepFashion, have demonstrated that images of a novel view generated by our model are more plausible than those generated by existing approaches, in terms of more consistent global appearance as well as richer and sharper details.

연구 동기 및 목표

• 단일 뷰 입력이 있을 때 현실적인 다중 뷰 의류 이미지를 생성하는 데 도전하는 것.
• 표준 GAN이 전반적인 구조를 유지하는 데 어려움을 겪고, VAE가 세부 사항을 생성하는 데 한계를 보이는 문제를 해결하는 것.
• 전자상거래 및 AR/VR 응용 분야에 적용 가능한 일반적이고 엔드 투 엔드 딥 러닝 프레임워크를 개발하는 것.
• MVC 및 DeepFashion과 같은 대규모 실세계 의류 데이터셋에서 제안된 모델의 효과성을 검증하는 것.

제안 방법

• 모델은 두 단계의 생성 과정을 사용한다: 먼저, 변분 추론 모듈이 새로운 뷰의 개체의 전반적인 형태와 색상 정보를 담은 저해상도(LR) 이미지를 생성한다.
• 그 후, 저해상도 이미지는 고해상도(HR) 생성자에서 적대적 학습을 통해 세부 사항을 보완하고 구조적 결함을 수정한다.
• 생성된 고해상도 이미지가 입력 이미지 및 그 뷰와 현실적이고 일관되게 유지되도록 조건부 판별자를 사용한다.
• 공간 일관성을 유지하고 정밀한 세부 사항 생성을 가능하게 하기 위해, 고해상도 생성자에 U-Net 기반 아키텍처와 스킵 연결을 적용한다.
• 학습 안정화와 생성 이미지의 주관적 품질 향상을 위해 ℓ₁ 재구성 손실을 통합한다.
• 코어스 생성자 내의 인코더-디코더 구조는 입력 이미지와 생성된 이미지 간의 특징을 정렬하기 위해 시아미즈 아키텍처를 사용하여 뷰 변환 학습을 가능하게 한다.

실험 결과

연구 질문

• RQ1 3D 감독이나 추가 애너테이션 없이 단일 뷰 입력으로부터 현실적인 다중 뷰 의류 이미지를 효과적으로 합성할 수 있는가?
• RQ2 변분 추론과 적대적 학습을 결합함으로써 이미지 생성에서 전반적인 구조 일관성과 국소 세부 사항 품질이 어떻게 향상되는가?
• RQ3 각 구성 요소—변분 추론, U-Net, ℓ₁ 손실, 조건부 판별자—가 모델의 전체 성능에 기여하는 정도는 어떠한가?
• RQ4 단일 단계 GAN에 비해 코어스 투 파인 생성 전략이 아티팩트를 얼마나 줄이고 시각적 타당성을 얼마나 향상시키는가?
• RQ5 MVC 및 DeepFashion과 같은 실세계 데이터셋에서 다양한 의류 스타일과 자세에 대해 모델이 얼마나 일반화되는가?

주요 결과

• MVC 및 DeepFashion 데이터셋에서 VariGANs는 각각 15.2와 21.8의 Fréchet Inception Distance(FID)를 기록하여 정량적·정성적 평가에서 최신 기술 수준의 방법들을 능가한다.
• 모델은 더 높은 구조 유사도(SSIM)와 Inception Score(IS)를 달성하여 MVC에서는 0.70 ± 0.10과 3.69 ± 0.09, DeepFashion에서는 0.62 ± 0.08과 3.03 ± 0.20의 성능을 기록한다.
• 절단 실험 결과, 변분 추론, U-Net, ℓ₁ 손실, 조건부 판별자 중 어느 구성 요소라도 제거할 경우 성능이 크게 악화되어 각 요소의 필수성을 입증한다.
• 특징 맵의 시각화 결과, 모델이 의미 있는 뷰 전환과 다양한 뷰 간의 구조적 대응 관계를 학습하는 것으로 나타났다.
• 코어스 투 파인 설계는 아티팩트를 효과적으로 줄이고, 자세 변화가 있는 경우에도 현실적인 새로운 뷰를 생성할 수 있도록 한다.
• 일부 예시에서 블록 모양의 아티팩트가 관찰되기는 하나, 전자상거래 및 콘텐츠 제작에 실용적으로 사용할 수 있는 수준의 세부 정보를 포함하고 있다.