[논문 리뷰] Toward Accurate and Realistic Virtual Try-on Through Shape Matching and Multiple Warps

Kedan Li, Min Jin Chong외 2명|arXiv (Cornell University)|2020. 03. 22.

3D Shape Modeling and Analysis참고 문헌 52인용 수 8

한 줄 요약

이 논문은 학습된 임bedding 공간과 다중 조율된 워프를 사용하여 형태 인식 제품-모델 쌍을 통해 현실감과 정확성을 향상시키는 가상 시착 프레임워크를 제안한다. 최적의 타겟 모델을 선택하고 U-Net 기반의 인painting 네트워크를 통해 전문화된 워프를 결합함으로써, 옷의 세부 정보, 질감, 형태를 유지하는 데 있어 최신 기술 수준의 성능을 달성하였으며, 정량적 지표와 사용자 연구를 통해 합성 이미지의 61.5%가 실제 이미지로 오분류되는 것으로 확인되었다.

ABSTRACT

A virtual try-on method takes a product image and an image of a model and produces an image of the model wearing the product. Most methods essentially compute warps from the product image to the model image and combine using image generation methods. However, obtaining a realistic image is challenging because the kinematics of garments is complex and because outline, texture, and shading cues in the image reveal errors to human viewers. The garment must have appropriate drapes; texture must be warped to be consistent with the shape of a draped garment; small details (buttons, collars, lapels, pockets, etc.) must be placed appropriately on the garment, and so on. Evaluation is particularly difficult and is usually qualitative. This paper uses quantitative evaluation on a challenging, novel dataset to demonstrate that (a) for any warping method, one can choose target models automatically to improve results, and (b) learning multiple coordinated specialized warpers offers further improvements on results. Target models are chosen by a learned embedding procedure that predicts a representation of the products the model is wearing. This prediction is used to match products to models. Specialized warpers are trained by a method that encourages a second warper to perform well in locations where the first works poorly. The warps are then combined using a U-Net. Qualitative evaluation confirms that these improvements are wholesale over outline, texture shading, and garment details.

연구 동기 및 목표

• 복잡한 주름지은 상태에서 단추, 칼라, 질감 등의 미세한 세부 정보를 유지하지 못하는 기존 방법들이 초래하는 현실감 있는 가상 시착 도전 과제를 해결하기 위해.
• 단일 워프 방법이 풀어지지 않은 옷이나 다중 구성 요소 옷에 대해 어려움을 겪고 특징이 일치하지 않는 문제를 해결하기 위해.
• 정성 평가에만 의존하는 것에서 벗어나 대규모이고 다양한 데이터셋과 정량적 지표를 도입하여 평가를 향상시키기 위해.
• 수동 쌍화에 의존도를 줄이기 위해 제품에 적합한 최적의 모델 이미지를 학습된 형태 임베딩을 사용해 자동으로 선택하기 위해.
• 각 워프가 특정 영역에서 성능이 떨어지는 데 초점을 맞춘 전문화된 워프를 함께 훈련시켜 오류를 보완하고, 이미지 생성 품질을 향상시키기 위해.

제안 방법

• 공간 주의 메커니즘을 갖춘 시각 인코더가 모델 이미지의 다양한 옷 종류(상의, 하의, 아우터)를 분석하고 공유된 형태 공간에 임bed딩하여, 제품이 해당 모델에 어떻게 보일지 예측한다.
• 학습된 임베딩 공간을 통해 제품의 형태와 일치하는 타겟 모델를 자동으로 선택할 수 있으며, 이는 워핑 품질 향상과 시각적 아티팩트 감소에 기여한다.
• 다중 전문화된 워퍼는 U-Net 기반의 인painting 네트워크와 함께 공동으로 훈련되며, 각 워퍼는 이전 워퍼가 성능이 떨어지는 영역에 집중한다.
• 인painting 네트워크는 다중 워프 출력과 마스크 처리된 모델 이미지를 융합하며, 워프 선택 및 개선을 학습하면서 사지와 옷의 세부 정보를 유지한다.
• 워핑과 생성 손실에 의해 유도되는 스킵 연결을 갖춘 U-Net을 사용하여 워프된 입력을 결합하고 고해상도 시착 결과를 생성한다.
• 대규모 정량 평가를 지원하기 위해 이커머스 사이트에서 수집한 총 422,756개의 제품-모델 쌍으로 구성된 새로운 데이터셋을 제안한다.

실험 결과

연구 질문

• RQ1 학습된 형태 임베딩을 사용해 타겟 모델를 자동으로 선택하는 것이 가상 시착 품질을 크게 향상시키는가?
• RQ2 각각 다른 영역에 특화된 다중 조율 워프를 훈련시키는 것이 단일 워프보다 더 나은 정렬과 세부 정보 유지 성능을 낳는가?
• RQ3 복잡한 주름지은 상황에서 단추, 포켓, 라벨과 같은 미세한 의류 세부 정보를 얼마나 잘 유지할 수 있는가?
• RQ4 생성된 이미지가 인간 관찰자에게 실제 이미지와 합성 이미지를 구분하는 데 얼마나 효과적인가?
• RQ5 이 방법은 단추가 풀린 아우터나 질감이 있는 의류를 포함한 다양한 의류 유형에 일반화되는가?

주요 결과

• VITON 데이터셋에서 모든 평가 파이프라인에서 형태 임베딩을 사용해 타겟 모델를 선택함으로써 정량적 성능 향상이 뚜렷하게 나타났으며, FID 및 LPIPS 지표에서 일관된 개선이 관찰되었다.
• 단일 워프 기반 베이스라인 대비 다중 조율 워프(k=2)를 사용함으로써 단추, 칼라, 포켓의 이질감이 감소한 것으로 확인되었으며, 그림 7의 정성적 비교에서 뒷받침되었다.
• 사용자 연구에서 합성 이미지의 61.5%가 실제 이미지로 오분류되었으며, 이는 높은 현실감을 의미한다.
• 사용자 연구 결과, 일반 대중의 70%가 일부 합성 이미지를 실제 이미지로 잘못 분류하여 강력한 인지적 품질을 입증하였다.
• 특히 단추가 풀린 코트나 질감이 있는 아우터와 같은 복잡한 의류에서 질감, 그림자, 경계 세부 정보 유지 측면에서 이전 연구를 능가하였다.
• 경계에서 발생하는 색상 아티팩트는 분할 마스크가 완벽하지 않은 경우에만 관찰되었으며, 이는 높은 품질 결과를 얻기 위해 정확한 자세 맵에 의존한다는 것을 확인하였다.