[논문 리뷰] High-Resolution Virtual Try-On with Misalignment and Occlusion-Handled Conditions

Sangyun Lee, Gyojung Gu외 3명|arXiv (Cornell University)|2022. 06. 28.

Generative Adversarial Networks and Image Synthesis인용 수 4

한 줄 요약

이 논문은 옷의 왜곡과 세그멘테이션 맵 생성을 동시에 수행하는 통합된 시도 조건 생성기를 제안하며, 오차 없는, 가림을 고려한 고해상도 가상 시도를 가능하게 한다. 왜곡 모듈과 세그멘테이션 모듈 간의 특징 융합 및 디세크리미네이터 거부 기반 기법을 도입함으로써 픽셀 압축 아티팩트를 제거하고, 1024×768 해상도 벤치마크에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Image-based virtual try-on aims to synthesize an image of a person wearing a given clothing item. To solve the task, the existing methods warp the clothing item to fit the person's body and generate the segmentation map of the person wearing the item before fusing the item with the person. However, when the warping and the segmentation generation stages operate individually without information exchange, the misalignment between the warped clothes and the segmentation map occurs, which leads to the artifacts in the final image. The information disconnection also causes excessive warping near the clothing regions occluded by the body parts, so-called pixel-squeezing artifacts. To settle the issues, we propose a novel try-on condition generator as a unified module of the two stages (i.e., warping and segmentation generation stages). A newly proposed feature fusion block in the condition generator implements the information exchange, and the condition generator does not create any misalignment or pixel-squeezing artifacts. We also introduce discriminator rejection that filters out the incorrect segmentation map predictions and assures the performance of virtual try-on frameworks. Experiments on a high-resolution dataset demonstrate that our model successfully handles the misalignment and occlusion, and significantly outperforms the baselines. Code is available at https://github.com/sangyun884/HR-VITON.

연구 동기 및 목표

• 고해상도 가상 시도에서 왜곡된 옷과 세그멘테이션 맵 간의 오차를 해결한다.
• 신체 부위에 의한 옷의 가림으로 인해 발생하는 픽셀 압축 아티팩트를 완화한다.
• 고해상도(1024×768) 가상 시도 데이터셋에서 성능을 향상시킨다.
• 디세크리미네이터 기반 거부 기법을 통해 잘못된 세그멘테이션 예측를 걸러내어 실제 응용 가능성 향상

제안 방법

• 왜곡과 세그멘테이션 맵 생성을 동시에 수행하는 통합된 시도 조건 생성기를 도입하여 내재된 정렬을 보장한다.
• 왜곡 모듈과 세그멘테이션 모듈 간의 이중 정보 교환을 가능하게 하는 특징 융합 블록을 설계한다.
• 왜곡된 옷과 예측된 세그멘테이션 간의 공간 일관성을 강제하는 조건 정렬 기법을 구현한다.
• 저품질 또는 잘못된 세그멘테이션 맵 예측를 걸러내기 위해 디세크리미네이터 거부 기법을 적용한다.
• 세그멘테이션 맵 품질을 평가하는 디세크리미네이터를 갖춘 GAN 기반 프레임워크를 사용하여 최종 이미지의 정밀도를 향상시킨다.
• 쌍체의 사람과 옷 이미지로 구성된 고해상도 가상 시도 데이터셋을 기반으로 모델을 엔드 투 엔드로 훈련한다.

실험 결과

연구 질문

• RQ1 왜곡과 세그멘테이션 생성을 동시에 수행하는 통합 아키텍처가 고해상도 가상 시도에서 오차 아티팩트를 제거할 수 있는가?
• RQ2 특히 복잡한 기하학적 형태를 띠는 영역에서 신체 부위에 의한 옷의 가림을 어떻게 효과적으로 처리할 수 있는가?
• RQ3 왜곡 모듈과 세그멘테이션 모듈 간의 특징 융합이 시각적 품질 향상과 아티팩트 감소에 얼마나 기여하는가?
• RQ4 디세크리미네이터 거부 기법이 실제 가상 시도 응용에서 분포 외부 입력에 대한 강건성을 향상시킬 수 있는가?

주요 결과

• 제안된 방법은 1024×768 해상도 가상 시도 벤치마크에서 최신 기술 수준의 성능을 달성하여 VITON-HD 및 기타 선도적 기준 모델을 능가한다.
• 정량적 결과로 쌍체가 없는 설정에서 KID 점수는 0.179, FID는 10.91로, PF-AFN 및 기타 파서 없는 방법보다 유의미하게 뛰어나다.
• 절단 실험 결과 특징 융합 블록과 조건 정렬이 모두 필수적임을 확인하였으며, 둘 다 사용할 경우 FID에서 15% 향상된다.
• 정성적 결과로 오차 및 픽셀 압축 아티팩트가 완전히 제거되었으며, 특히 가림 영역에서 두드러진다.
• 디세크리미네이터 거부 기법은 잘못된 세그멘테이션 예측를 효과적으로 걸러내어 실제 환경에서의 강건성을 향상시킨다.
• CP-VTON과 ACGPN은 고해상도 쌍체 없는 설정에서 일반화에 실패하는 반면, 본 모델은 이를 뛰어넘는 성능을 보였다.