[논문 리뷰] HumanGAN: A Generative Model of Humans Images

Kripasindhu Sarkar, Lingjie Liu외 2명|arXiv (Cornell University)|2021. 03. 11.

Generative Adversarial Networks and Image Synthesis참고 문헌 46인용 수 4

한 줄 요약

HumanGAN은 자세에 영향을 받지 않는 외형을 부분별로 고유한 잠재 벡터에 인코딩하고, 이를 다양한 자세로 왜곡함으로써 인간 이미지 생성에 대해 분리된, 부분 수준의 제어를 가능하게 하는 새로운 생성적 적대적 모델이다. 512×512 해상도에서 높은 사실감과 다양성을 갖춘 전반적인 외형 샘플링, 자세 전이, 부분 수준의 생성에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Generative adversarial networks achieve great performance in photorealistic image synthesis in various domains, including human images. However, they usually employ latent vectors that encode the sampled outputs globally. This does not allow convenient control of semantically-relevant individual parts of the image, and is not able to draw samples that only differ in partial aspects, such as clothing style. We address these limitations and present a generative model for images of dressed humans offering control over pose, local body part appearance and garment style. This is the first method to solve various aspects of human image generation such as global appearance sampling, pose transfer, parts and garment transfer, and parts sampling jointly in a unified framework. As our model encodes part-based latent appearance vectors in a normalized pose-independent space and warps them to different poses, it preserves body and clothing appearance under varying posture. Experiments show that our flexible and general generative method outperforms task-specific baselines for pose-conditioned image generation, pose transfer and part sampling in terms of realism and output resolution.

연구 동기 및 목표

• 기존의 GAN 기반 인간 이미지 생성 모델에서 미세한, 분리된 제어의 부족을 해결하기 위해.
• 신체 부위와 의복 스타일을 독립적으로 샘플링하고 조작하면서도 자세에 관계없이 정체성과 외형을 유지할 수 있도록 하기 위해.
• 전반적 샘플링, 자세 전이, 부분 샘플링, 의복 전이와 같은 여러 인간 이미지 생성 작업을 하나의 생성 프레임워크로 통합하기 위해.
• 기존 방법들이 확률적 특성을 결여하거나 局부 외형 편집을 수행할 수 없는 한계를 극복하기 위해.
• 지속적인 정체성과 자세 변화에 대한 사실적인 외형을 유지하면서 고해상도(512×512) 이미지 합성을 높은 품질로 달성하기 위해.

제안 방법

• 자세에 영향을 받지 않는 외형 공간에서 부분별 잠재 벡터의 사후 분포를 모델링하기 위해 조건부 변동형 오토인코더(VAE) 프레임워크를 사용한다.
• 개별 신체 부위(예: 머리, 상체 등)에 해당하는 부분 기반 노이즈 벡터($\bm{z}[k]$)를 사용하여 외형을 인코딩함으로써 局부 제어를 가능하게 한다.
• DensePose 감독을 통해 인코딩된 부분 벡터에 공간 왜곡을 적용하여, 이미지 재구성 전에 목표 자세에 맞추도록 한다.
• 신체와 의복 부위 벡터를 결합한 노이즈 임bedding을 구성하여, 스타일 전이 기능을 갖춘 신체와 의복의 공동 생성을 가능하게 한다.
• 왜곡된 잠재 벡터에 조건부된 고해상도 생성 네트워크를 활용하여 포토 realism이 뛰어난 이미지를 합성한다.
• 잠재 벡터를 신체 부위에 조건부로 하고, 이를 독립적으로 왜곡함으로써 자세와 외형을 분리하는 새로운 분리 전략을 도입한다.

실험 결과

연구 질문

• RQ1 단일 생성 모델이 인간 이미지 생성에서 전반적 외형 샘플링, 자세 전이, 부분 수준 편집을 동시에 지원할 수 있는가?
• RQ2 기울기 가능하고 제어 가능한 방식으로 자세에 의존하는 변환에서 분리된 자세에 영향을 받지 않는 외형 표현을 효과적으로 분리할 수 있는가?
• RQ3 부분별로 고유한 잠재 벡터는 다른 부분에 영향을 주지 않고 다채롭고 현실적인 개별 신체 부위의 샘플링을 어느 정도 가능하게 하는가?
• RQ4 모델은 다수의 편집 작업을 지원하면서도 사실감과 해상도(512×512)에서 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ5 자세 전이 및 부분 샘플링에서 정체성 유지와 시각적 품질 측면에서, 모델은 작업별 전용 기준 모델과 비교해 어떻게 성능을 내는가?

주요 결과

• HumanGAN은 512×512 해상도에서 전반적 외형 샘플링에서 작업 전용 기준 모델을 능가하며, 더 높은 사실감과 다양성을 확보했다.
• 사용자 연구 결과, 자세 전이에서 정체성 유지 측면에서 65.62%의 참가자가 HumanGAN을 선호했으며, CBI는 21.88%, NHRR는 12.5%였다.
• 사실감 측면에서 81.25%의 사용자가 HumanGAN을 선호했으며, CBI(6.25%)와 NHRR(12.5%)를 크게 앞섰다.
• 정량적 평가에서 NoParts 기준 대비 Variation–Part(0.37 vs. 0.45)에서 22% 향상되고, Variation–Rest(0.11 vs. 0.44)에서 75% 감소하여 부분 수준의 분리가 뛰어난 것으로 확인되었다.
• 개별 신체와 의복 이미지에서 부분별 잠재 벡터를 조합함으로써 의복 전이를 성공적으로 수행하여 일관되고 현실적인 결과를 도출했다.
• DeepFashion 데이터셋에서 기인한 일부 문제점(예: 가끔 발생하는 부분 간섭, 성별 편향)이 있음에도 불구하고, HumanGAN은 평가된 모든 작업에서 뛰어난 성능을 보였다.