[논문 리뷰] Pose Guided Fashion Image Synthesis Using Deep Generative Model

Wei Sun, Jawadul H. Bappy외 4명|arXiv (Cornell University)|2019. 06. 17.

Generative Adversarial Networks and Image Synthesis참고 문헌 38인용 수 10

한 줄 요약

이 논문은 사람의 자세를 전달하면서 의류 외관을 유지하는 실사적인 패션 이미지 합성을 위한 딥 생성 모델을 제안한다. 이미지 및 자세 인코더를 갖춘 이중 인코더 생성기와 두 개의 판별기(이미지의 실사성과 자세 외관 일致성에 대한 것)를 사용하여, DeepFashion 및 Market-1501 데이터셋에서 최신 기준(Inception Score)과 높은 SSIM을 달성한다.

ABSTRACT

Generating a photorealistic image with intended human pose is a promising yet challenging research topic for many applications such as smart photo editing, movie making, virtual try-on, and fashion display. In this paper, we present a novel deep generative model to transfer an image of a person from a given pose to a new pose while keeping fashion item consistent. In order to formulate the framework, we employ one generator and two discriminators for image synthesis. The generator includes an image encoder, a pose encoder and a decoder. The two encoders provide good representation of visual and geometrical context which will be utilized by the decoder in order to generate a photorealistic image. Unlike existing pose-guided image generation models, we exploit two discriminators to guide the synthesis process where one discriminator differentiates between generated image and real images (training samples), and another discriminator verifies the consistency of appearance between a target pose and a generated image. We perform end-to-end training of the network to learn the parameters through back-propagation given ground-truth images. The proposed generative model is capable of synthesizing a photorealistic image of a person given a target pose. We have demonstrated our results by conducting rigorous experiments on two data sets, both quantitatively and qualitatively.

연구 동기 및 목표

• 목표 자세를 갖춘 실사적인 패션 이미지를 합성하는 딥 생성 모델을 개발한다.
• 동일한 패션 아이템의 다수의 이미지를 활용하여 시각-의미적 맥락을 학습함으로써 자세 유도 이미지 합성 성능을 향상시킨다.
• 이중 판별기 아키텍처를 통해 이미지 품질과 자세 일致성을 향상시킨다.
• 생성기와 판별기를 동시에 최적화하기 위한 엔드 투 엔드 학습을 가능하게 한다.
• 더 rich한 특징 학습을 위해 단일 이미지 입력에 대한 의존도를 줄이고 다중 시점 이미지 시퀀스를 활용한다.

제안 방법

• 동일한 패션 아이템의 다수의 이미지 간 시각-의미적 특징을 학습하기 위해 이중 방향 컨볼루션 리커런트 신경망(LSTM, bC-LSTM)을 갖춘 생성기를 사용한다.
• 입력 이미지와 자세 맵에서 압축된 외관 및 기하학적 표현을 추출하기 위해 U-Net 인코더를 사용한다.
• 두 개의 판별기를 도입한다: 하나는 생성된 이미지와 진짜 이미지를 구분하여 실사성 강화를 위한 D_I이고, 다른 하나는 자세 외관 일치성을 검증하기 위한 D_P이다.
• 생성 모델 전체를 역전파를 통해 엔드 투 엔드로 학습하며, 적대적 손실과 인지적 재구성 손실을 사용한다.
• 이미지 생성 과정에서 공간적 세부 정보를 유지하기 위해 디코더에 U-Net 스타일의 스킵 연결을 통합한다.
• 합성 과정을 이끄는 데 도움을 주기 위해 실제 이미지와 자세 맵을 지도로 활용하여 학습한다.

실험 결과

연구 질문

• RQ1 딥 생성 모델은 정확한 자세 전달과 함께 의류 외관을 유지하면서 실사적인 패션 이미지를 합성할 수 있는가?
• RQ2 동일한 패션 아이템의 다수의 이미지를 사용할 경우, 시각-의미적 특징 학습과 합성 품질은 어떻게 향상되는가?
• RQ3 실사성과 자세 일치성에 특화된 두 개의 전용 판별기(D_I와 D_P)의 사용이 이미지 품질과 정확성에 어떤 영향을 미치는가?
• RQ4 다양한 데이터셋에서 최신 기준 모델들과 비교해 볼 때, Inception Score와 SSIM 측면에서 제안된 모델의 성능은 어떠한가?
• RQ5 복잡한 자세 변화 상황에서도 얼굴 세부 정보를 현실적으로 생성하고 일관성을 유지할 수 있는가?

주요 결과

• 제안된 모델은 DeepFashion 데이터셋에서 최신 기준 Inception Score 10.28을 달성하여 PG²(1.77), PG²(G1+D)(2.11), pix2pix(2.55), 변분 U-Net(3.02)를 크게 앞서며 뛰어난 성능을 보였다.
• Market-1501 데이터셋에서 모델은 SSIM 점수 0.892를 기록하여 단일 이미지 기반 베이스라인보다 9.90%포인트 높은 성능을 보였다.
• 자세 일치성 판별기(D_P)의 포함으로 인해 D_P가 없는 아블레이트 모델 대비 SSIM이 9.38% 향상되었다.
• DeepFashion에서 다중 이미지 모델(M)은 단일 이미지 모델(S)보다 SSIM이 0.89% 높게 기록되어 다중 시점 특징 학습의 유용성을 입증하였다.
• 정성적 결과에서는 눈, 코, 입과 같은 현실적인 얼굴 특징과 다양한 자세에서의 정확한 자세 전달이 가능함을 확인하였다.
• 모델는 배경 변화에 대해 강건성을 보였으며, 목표 이미지에 배경 정보가 없음에도 불구하고 Market-1501에서 높은 성능을 유지하였다.