[논문 리뷰] SPG-VTON: Semantic Prediction Guidance for Multi-pose Virtual Try-on
SPG-VTON은 다중 자세 가상 피팅을 위한 엔드 투 엔드 의미 예측 지도 네트워크를 제안하며, 의미 예측 모듈(SPM), 유도 가능한 사이클 일致성 손실을 갖춘 옷 워핑 모듈(CWM), 그리고 시도 합성 모듈(TSM)을 통해 사진 수준의 결과를 생성한다. MPV와 DeepFashion에서 최신 기술(SOTA)을 초월하며 자세 변화, 배경 잡음, 액세서리에 대한 강건성을 보여준다.
Image-based virtual try-on is challenging in fitting a target in-shop clothes into a reference person under diverse human poses. Previous works focus on preserving clothing details ( e.g., texture, logos, patterns ) when transferring desired clothes onto a target person under a fixed pose. However, the performances of existing methods significantly dropped when extending existing methods to multi-pose virtual try-on. In this paper, we propose an end-to-end Semantic Prediction Guidance multi-pose Virtual Try-On Network (SPG-VTON), which could fit the desired clothing into a reference person under arbitrary poses. Concretely, SPG-VTON is composed of three sub-modules. First, a Semantic Prediction Module (SPM) generates the desired semantic map. The predicted semantic map provides more abundant guidance to locate the desired clothes region and produce a coarse try-on image. Second, a Clothes Warping Module (CWM) warps in-shop clothes to the desired shape according to the predicted semantic map and the desired pose. Specifically, we introduce a conductible cycle consistency loss to alleviate the misalignment in the clothes warping process. Third, a Try-on Synthesis Module (TSM) combines the coarse result and the warped clothes to generate the final virtual try-on image, preserving details of the desired clothes and under the desired pose. Besides, we introduce a face identity loss to refine the facial appearance and maintain the identity of the final virtual try-on result at the same time. We evaluate the proposed method on the most massive multi-pose dataset (MPV) and the DeepFashion dataset. The qualitative and quantitative experiments show that SPG-VTON is superior to the state-of-the-art methods and is robust to the data noise, including background and accessory changes, i.e., hats and handbags, showing good scalability to the real-world scenario.
연구 동기 및 목표
- 기존의 다중 자세 가상 피팅 방법의 한계를 해결하기 위해, 정렬 오류, 낮은 디테일 유지, 엔드 투 엔드 학습 부족 문제를 해결한다.
- 의미 정보 사전 지식을 활용하여 임의의 인간 자세 간 옷 이동 시 피팅 정확도와 현실감을 향상시킨다.
- 엔드 투 엔드 학습과 추론을 통해 오류 누적과 수동 개입을 줄인다.
- 특정 얼굴 정체성 손실을 적용하여 얼굴 정체성과 외관의 현실감을 유지한다.
- 배경 혼잡함과 모자, 손bag과 같은 액세서리와 같은 노이즈 데이터에 대한 강건성을 향상시킨다.
제안 방법
- 의미 예측 모듈(SPM)은 대상 인물에 대한 예측 의미 지ap을 생성하여 옷 부위의 국소화에 공간적 및 의미적 지도를 제공한다.
- 옷 워핑 모듈(CWM)은 예측 의미 지도와 대상 자세를 기반으로 상점 옷을 변형하며, 변형 정렬 오류를 줄이기 위해 유도 가능한 사이클 일치성 손실을 사용한다.
- 시도 합성 모듈(TSM)은 변형된 옷과 군더미 결과를 융합하여 최종 사진 수준의 시도 이미지를 생성하며, 형태와 질감의 정확성을 확보하기 위해 전역 및 국소 판별자(디스criminator)를 사용한다.
- 얼굴 정체성 손실을 적용하여 생성된 얼굴 영역의 정체성 유지와 현실감 향상을 도모한다.
- 전체 네트워크는 재구성, 인지적, 사이클 일치성, 정체성 손실을 균형 잡는 다섯 개의 하이퍼파rameter를 사용해 엔드 투 엔드로 학습된다.
- 유도 가능한 사이클 일치성 손실은 변형된 옷과 대상 신체 형태 간의 구조 일치성을 보장하여 변형 정확도를 향상시킨다.
실험 결과
연구 질문
- RQ1의미 예측을 통한 엔드 투 엔드 프레임워크는 다단계 기반 모델 대비 다중 자세 가상 피팅 성능 향상에 기여하는가?
- RQ2유도 가능한 사이클 일치성 손실은 임의의 자세에서 옷 워핑 정렬 오류를 얼마나 효과적으로 줄이는가?
- RQ3의미 지도 예측 정확도가 최종 시도 품질에 얼마나 큰 영향을 미치는가?
- RQ4자세 변화와 노이즈 입력 조건에서도 모델은 얼굴 정체성과 현실감을 유지할 수 있는가?
- RQ5모델은 배경 혼잡함과 모자, 손bag과 같은 액세서리에 대해 얼마나 강건한가?
주요 결과
- SPG-VTON은 MPV와 DeepFashion 데이터셋에서 최신 기술 성능을 달성하였으며, 비교된 방법들 중에서 가장 높은 SSIM/마스크-SSIM 및 마스크-IS 점수를 기록하였다.
- 절단 실험 결과, 다섯 개의 하이퍼파rameter(λ₁에서 λ₅) 중 어느 하나라도 제거할 경우 성능 저하가 심하게 발생하여 그 필요성을 확인하였다.
- 노이즈가 있는 데이터로 학습하더라도 높은 품질의 결과를 유지하며, 지표는 약간 감소할 뿐이며, 예측되지 않은 노이즈가 있는 테스트 이미지로도 잘 일반화되었다.
- 테스트 시에 실제 의미 지도를 사용할 경우 예측 지도보다 더 높은 점수를 기록하지만, 엔드 투 엔드 학습을 통해 예측 지도 정확도가 향상되어 점수 격차가 줄어들었다.
- 유도 가능한 사이클 일치성 손실은 핵심 요소이며, 이를 제거하면 출력에서 옷의 디테일이 완전히 손실된다.
- 얼굴 정체성 손실은 얼굴의 현실감을 크게 향상시키며, 절단 실험에서 비활성화 시 더 자연스럽지 않은 얼굴 영역이 나타났다.
더 나은 연구,지금 바로 시작하세요
논문 읽기부터 검토까지, 연구 시간을 획기적으로 줄여보세요.
카드 등록 없음 · 무료 플랜 제공
이 리뷰는 AI가 만들고, 인간 에디터가 검토했습니다.