[논문 리뷰] Towards Scalable Unpaired Virtual Try-On via Patch-Routed Spatially-Adaptive GAN

Zhenyu Xie, Zaiyu Huang외 4명|arXiv (Cornell University)|2021. 11. 20.

3D Shape Modeling and AnalysisEngineering인용 수 19

한 줄 요약

이 논문은 페어되지 않은 데이터나 온라인 최적화 없이도 고해상도의 종단간 전이를 가능하게 하는 확장 가능한 비페어드 가상 시도 프레임워크인 PASTA-GAN을 제안한다. 이는 패치 라우팅 디센텐먼트 모듈과 공간에 적응하는 잔여 블록을 사용하여 옷의 스타일과 공간적 특징을 분리함으로써 실현되며, MPV에서 최신 기술 수준의 성능을 달성하고, 전체 신체 및 슬링과 같은 드문 유형을 포함한 다양한 옷들로 일반화된다.

ABSTRACT

Image-based virtual try-on is one of the most promising applications of human-centric image generation due to its tremendous real-world potential. Yet, as most try-on approaches fit in-shop garments onto a target person, they require the laborious and restrictive construction of a paired training dataset, severely limiting their scalability. While a few recent works attempt to transfer garments directly from one person to another, alleviating the need to collect paired datasets, their performance is impacted by the lack of paired (supervised) information. In particular, disentangling style and spatial information of the garment becomes a challenge, which existing methods either address by requiring auxiliary data or extensive online optimization procedures, thereby still inhibiting their scalability. To achieve a \emph{scalable} virtual try-on system that can transfer arbitrary garments between a source and a target person in an unsupervised manner, we thus propose a texture-preserving end-to-end network, the PAtch-routed SpaTially-Adaptive GAN (PASTA-GAN), that facilitates real-world unpaired virtual try-on. Specifically, to disentangle the style and spatial information of each garment, PASTA-GAN consists of an innovative patch-routed disentanglement module for successfully retaining garment texture and shape characteristics. Guided by the source person keypoints, the patch-routed disentanglement module first decouples garments into normalized patches, thus eliminating the inherent spatial information of the garment, and then reconstructs the normalized patches to the warped garment complying with the target person pose. Given the warped garment, PASTA-GAN further introduces novel spatially-adaptive residual blocks that guide the generator to synthesize more realistic garment details.

연구 동기 및 목표

• 페어되지 않은 훈련 데이터에 의존하는 기존 가상 시도 방법의 확장성 한계를 해결하기 위해.
• 페어되지 않은 환경에서 옷의 스타일과 공간적 특징이 뒤섞여 질감과 형태의 정확도가 떨어지는 문제를 해결하기 위해.
• 보조 데이터나 온라인 최적화 절차에 의존하지 않으면서도 고품질의 합성 성능를 유지하기 위해.
• 상의, 하의, 전체 신체 유형에 관계없이 임의의 옷에 대해 종단간, 실생활 적용 가능한 가상 시도를 가능하게 하기 위해.

제안 방법

• 의도적으로 공간 정보를 감소시키기 위해 옷을 정규화된 공간 패치로 분해하는 패치 라우팅 디센텐먼트 모듈을 도입하여, 공간에 무관한 스타일 학습을 장려한다.
• 소스 사람의 관절 키포인트 가이던스를 사용하여 정규화된 패치를 목표 사람의 자세에 맞게 변형된 옷으로 재구성함으로써 명시적인 왜곡 네트워크를 피한다.
• 특징 정렬을 동적으로 조정하는 새로운 공간에 적응하는 잔여 블록을 도입하여, 변형된 옷과 목표 신체 형태 사이의 정렬 오류를 수정한다.
• 변형된 옷의 특징을 생성기의 중간 레이어에 통합하여 현실적인 질감 합성과 잡음 감소를 유도한다.
• 스타일과 질감 합성 브랜치를 통합하여 생성 과정에서 옷의 정체성과 세밀한 디테일을 모두 유지한다.
• 페어되지 않은 지도 없이 복구 손실을 사용하여 모델을 종단간으로 비지도 학습한다. 이로써 페어 지도나 3D 인간 모델이 필요 없어진다.

실험 결과

연구 질문

• RQ1 완전히 비지도 학습된 가상 시도 모델이 페어되지 않은 훈련 데이터나 보조 지도 없이도 고해상도의 옷 전이를 달성할 수 있는가?
• RQ2 페어되지 않은 지도 없이도 옷의 스타일과 공간적 특징을 효과적으로 분리하여 질감과 형태의 정확도를 유지할 수 있는가?
• RQ3 패치 기반 분해와 재구성 방식이 전역 왜곡이나 플로우 기반 방법보다 옷의 정확도를 향상시킬 수 있는가?
• RQ4 공간에 적응하는 잔여 블록 모듈이 복잡한 자세와 신체 형태 변화에서 발생하는 특징 정렬 오류를 어느 정도 완화할 수 있는가?
• RQ5 제안된 방법이 페어되지 않은 환경에서 드문 유형이나 전체 신체 유형을 포함한 다양한 옷들에 대해 일반화 가능한가?

주요 결과

• PASTA-GAN은 MPV 벤치마크에서 PFAFN을 포함한 최신 기술 수준의 페어된 방법들보다 FID(22.4)와 인간 평가 점수 모두에서 뛰어난 성능을 보이며, 비페어드 환경에서의 우수성을 입증한다.
• 전신 시도나 슬링과 같은 드문 옷 유형과 같은 도전적인 케이스에서도 높은 품질의 결과를 달성하며, 페어된 방법들이 처리하지 못하는 경우에도 유사한 성능을 유지한다.
• 절단 실험 결과 패치 라우팅 디센텐먼트 모듈이 정확한 옷의 형태 합성에 필수적이며, 공간에 적응하는 잔여 블록이 질감의 명확성과 잡음 감소에 핵심적인 역할을 한다는 것이 확인되었다.
• 질감 합성 브랜치를 제거할 경우 질감 유지 능력이 떨어지며, 일반적인 블록으로 교체할 경우 정렬 오류와 뿌연 이미지가 발생한다.
• 완전한 모델 구성이 가장 우수한 시각적 및 정량적 성능을 달성하였으며, 절단된 변형들보다 FID와 인간 평가 점수에서 뚜렷한 향상이 있었다.
• 온라인 최적화나 보조 데이터 없이도 다양한 옷들과 자세에 대해 효과적으로 일반화되며, 이는 모델의 확장성과 타당성을 확인한다.