[논문 리뷰] VOGUE: Try-On by StyleGAN Interpolation Optimization

Kathleen M. Lewis, Srivatsan Varadharajan외 1명|arXiv (Cornell University)|2021. 01. 06.

Generative Adversarial Networks and Image Synthesis인용 수 20

한 줄 요약

VOGUE는 타겟 인물의 신체 형태, 피부 톤, 헤어 스타일을 참조 이미지의 의류 디테일(접힘, 소재, 무늬 등)과 자연스럽게 융합하여 512×512 해상도의 사진처럼 생생한 가상 피팅 결과를 생성하기 위해 포즈 조건부 StyleGAN2 잠재공간 보간법을 제안한다. 주요 기여는 각 잠재층에 대해 보정 계수를 자동으로 최적화하여 현실감 있고 변형 인식 기반의 의류 전달을 달성하는 것이다.

ABSTRACT

Given an image of a target person and an image of another person wearing a garment, we automatically generate the target person in the given garment. At the core of our method is a pose-conditioned StyleGAN2 latent space interpolation, which seamlessly combines the areas of interest from each image, i.e., body shape, hair, and skin color are derived from the target person, while the garment with its folds, material properties, and shape comes from the garment image. By automatically optimizing for interpolation coefficients per layer in the latent space, we can perform a seamless, yet true to source, merging of the garment and target person. Our algorithm allows for garments to deform according to the given body shape, while preserving pattern and material details. Experiments demonstrate state-of-the-art photo-realistic results at high resolution ($512 imes 512$).

연구 동기 및 목표

• 실제로 생생한 고해상도 가상 피팅 이미지를 생성하여 타겟 인물의 신원과 의류의 소재 및 무늬 디테일을 모두 유지하는 데 도전하는 것.
• 수동 조정 없이 타겟 인물의 신체 형태에 따라 자연스럽게 의류가 변형되도록 하는 것.
• 잠재공간 보간을 통해 원본 및 타겟 이미지의 특성(피부 색상, 헤어, 신체 형태 등)을 자연스럽게 융합하는 것.
• StyleGAN2의 각 잠재층에 대해 보간 계수를 자동으로 최적화하는 전략을 개발하여 현실감과 일관성을 향상시키는 것.

제안 방법

• 메서드는 타겟 인물의 자세를 조건으로 하여 잠재공간 보간을 조절하는 포즈 조건부 StyleGAN2 생성기를 사용한다.
• 타겟 인물과 의류 이미지 간의 잠재공간 보간을 수행하며, 각 층에 대해 신원과 의류 충실도를 균형 잡기 위해 보정 계수를 최적화한다.
• 신원, 텍스처, 구조적 디테일을 유지하는 미분 가능한 손실을 사용하여 종합적인 최적화를 수행한다.
• StyleGAN2의 분리된 잠재공간을 활용하여 특정 특성(예: 타겟에서의 신체 형태, 참조에서의 의류)을 분리하고 전달한다.
• 고수준 잠재 코드와 공간 일관성을 고려하여 의류의 접힘과 소재 특성을 유지한다.

실험 결과

연구 질문

• RQ1 StyleGAN2의 잠재공간 보간이 수동 하이퍼파라미터 조정 없이 현실적이고 고해상도의 가상 피팅 결과를 생성할 수 있는가?
• RQ2 접힘, 무늬, 소재 특성과 같은 의류 디테일은 신원 유지 이미지 합성 과정에서 어떻게 유지될 수 있는가?
• RQ3 각 잠재층에 대해 보간 계수를 자동으로 최적화하는 것이 가상 피팅 생성의 현실감과 일관성에 얼마나 기여하는가?
• RQ4 이 방법은 다양한 신체 형태와 의류 유형에 일반화되며 512×512 해상도에서 사진처럼 생생한 결과를 유지할 수 있는가?

주요 결과

• 메서드는 512×512 해상도에서 최신 기술 수준의 사진처럼 생생한 결과를 달성하여 이전 방법들을 능가하는 시각적 충실도를 확보한다.
• 각 잠재층에 대해 보간 계수를 자동으로 최적화함으로써 신원과 의류 특성의 자연스러운 융합이 가능해진다.
• StyleGAN2의 잠재공간이 분리되어 있기에 접힘, 질감, 무늬와 같은 의류 디테일이 효과적으로 유지된다.
• 타겟 인물의 신체 형태에 따라 의류가 성공적으로 변형되며, 구조적 및 소재적 현실감을 유지한다.