[논문 리뷰] PASTA-GAN++: A Versatile Framework for High-Resolution Unpaired Virtual Try-on

Zhenyu Xie, Zaiyu Huang외 6명|arXiv (Cornell University)|2022. 07. 27.

Image Enhancement Techniques인용 수 5

한 줄 요약

PASTA-GAN++는 고해상도 비쌍체 가상 피팅을 위한 새로운 종단간(end-to-end), 비지도 학습 프레임워크를 제안한다. 이는 이중 경로 StyleGAN2 생성자 내에서 패치 라우팅 분리 모듈과 패치 가이드드 파싱 합성 블록을 통해 임의의 의류 카테고리 및 세분화된 편집을 지원한다. 새로운 고해상도 비쌍체 가상 피팅(UPT) 데이터셋에서 최신 기술 수준의 성능을 달성하며, 옷 입히기 순서 제어, 텍스처/형태 이동, 국소적 형태 수정과 같은 제어 가능한 편집을 가능하게 한다.

ABSTRACT

Image-based virtual try-on is one of the most promising applications of human-centric image generation due to its tremendous real-world potential. In this work, we take a step forwards to explore versatile virtual try-on solutions, which we argue should possess three main properties, namely, they should support unsupervised training, arbitrary garment categories, and controllable garment editing. To this end, we propose a characteristic-preserving end-to-end network, the PAtch-routed SpaTially-Adaptive GAN++ (PASTA-GAN++), to achieve a versatile system for high-resolution unpaired virtual try-on. Specifically, our PASTA-GAN++ consists of an innovative patch-routed disentanglement module to decouple the intact garment into normalized patches, which is capable of retaining garment style information while eliminating the garment spatial information, thus alleviating the overfitting issue during unsupervised training. Furthermore, PASTA-GAN++ introduces a patch-based garment representation and a patch-guided parsing synthesis block, allowing it to handle arbitrary garment categories and support local garment editing. Finally, to obtain try-on results with realistic texture details, PASTA-GAN++ incorporates a novel spatially-adaptive residual module to inject the coarse warped garment feature into the generator. Extensive experiments on our newly collected UnPaired virtual Try-on (UPT) dataset demonstrate the superiority of PASTA-GAN++ over existing SOTAs and its ability for controllable garment editing.

연구 동기 및 목표

• 비쌍체 데이터를 사용한 비지도 학습이 가능한 유연한 가상 피팅 시스템을 개발하는 것.
• 단일 모델 내에서 상의, 하의, 드레스 등 다양한 의류 카테고리(예: 상의, 하의, 드레스)를 처리할 수 있도록 하는 것.
• 옷 입히기 순서 제어, 텍스처/형태 이동, 국소적 형태 편집과 같은 세분화된 제어 가능한 의류 편집을 지원하는 것.
• 쌍체 데이터나 온라인 최적화 없이도 고해상도, 사진 수준의 현실적인 피팅 결과를 생성하는 것.

제안 방법

• 의류를 정규화된 공간 패치로 분해하여 스타일과 공간적 레이아웃을 분리하는 패치 라우팅 분리 모듈을 도입하여 비지도 학습에서 과적합을 줄인다.
• 패치 기반 의류 표현과 패치 가이드드 파싱 합성 블록을 활용하여 다양한 의류 유형에 대해 동적이고 카테고리에 의존하지 않는 생성을 가능하게 한다.
• 거친 왜곡된 의류 특징을 생성자에 통합하기 위해 공간에 적응하는 잔여 모듈을 통합하여 텍스처 세부 정보를 유지하고 현실감을 향상시킨다.
• 사람 이미지와 패치 임bedded된 의류 표현을 모두 조건으로 사용하는 이중 경로 StyleGAN2 생성자 아키텍처를 활용하여 정밀하고 국소적인 편집을 가능하게 한다.
• 성능과 일반화 능력을 검증하기 위해 512×320 해상도의 새로운 고해상도 비쌍체 가상 피팅(UPT) 벤치마크를 제안한다.
• 개별 정규화된 패치를 잠재 공간에서 조작하여 패치 수준의 편집을 가능하게 하며, 형태/텍스처 이동 및 국소적 수정을 지원한다.

실험 결과

연구 질문

• RQ1 한 번의 모델이 상의, 드레스, 바지 등 다양한 의류 카테고리에 일반화될 수 있는가? (카테고리별 미세조정이 필요 없이)
• RQ2 비쌍체 데이터에 대한 비지도 학습이 쌍체 감독 없이도 고해상도의 현실적인 가상 피팅을 얼마나 잘 달성할 수 있는가?
• RQ3 옷 입히기 순서 제어 및 국소적 형태 수정과 같은 세분화된 제어 가능한 의류 편집을 지원할 수 있는가?
• RQ4 패치 기반 표현 방식이 비지도 가상 피팅에서 분리도 및 과적합을 어떻게 향상시키는가?

주요 결과

• PASTA-GAN++는 새로 수집한 UPT 데이터셋에서 최신 기술 수준의 성능을 달성하며, 정량적 지표와 시각적 품질 모두에서 기존 최고 성능(SOTA) 방법을 능가한다.
• 대부분의 이전 방법들이 상의 또는 고정된 카테고리에 국한되어 있는 것과 달리, 단일 사전 학습 프레임워크 내에서 임의의 의류 카테고리를 성공적으로 지원한다.
• 패치 수준 조작을 통해 제어 가능한 편집이 가능하며, 옷 입히기 순서 제어(tuck-in/tuck-out), 텍스처/형태 이동, 높은 정확도의 국소적 형태 편집이 가능하다.
• 패치 라우팅 분리 모듈은 스타일과 공간적 레이아웃을 효과적으로 분리하여 비지도 학습에서 과적합을 줄이고 일반화 능력을 향상시킨다.
• 공간에 적응하는 잔여 모듈은 최종 피팅 결과의 텍스처 세부 정보 유지와 현실감 향상에 크게 기여한다.
• 광범위한 추상화 실험(ablation studies)를 통해 각 구성 요소의 효과성을 확인하였으며, 특히 카테고리에 의존하지 않는 유연한 생성을 가능하게 하는 패치 가이드드 파싱 합성 블록의 기여가 두드러진다.