[논문 리뷰] Deep Learning-Based Virtual Try-On System Using Multi-Modal Feature Fusion and Generative Adversarial Networks

Xintong Han, Zuxuan Wu외 3명|arXiv (Cornell University)|2017. 11. 22.

Generative Adversarial Networks and Image Synthesis참고 문헌 36인용 수 24

한 줄 요약

이 논문은 3D 데이터 없이 제품 이미지의 옷을 2D 인체 이미지에 전송하는 데 중점을 두고, 다중 모odal 특징 융합과 생성적 적대적 네트워크를 활용한 딥러닝 기반 가상 시도 시스템인 VITON을 제안한다. 이 방법은 조건부 인코더-디코더 네트워크와 정밀화 네트워크를 활용한 굵기에서 세밀함으로 향하는 프레임워크를 사용하여 자연스러운 변형과 시각적 세부 사항을 유지하면서도 사진처럼 생생한 결과를 달성한다.

ABSTRACT

This paper presents a comprehensive deep learning-based virtual try-on system that addresses the challenge of realistic garment transfer in e-commerce applications. The system leverages multi-modal feature fusion combining cloth-agnostic person representation, pose estimation, and human parsing to enable identity-preserving virtual try-on. Key Contributions: • Multi-Modal Input Architecture: A 41-channel input representation combining cloth-agnostic RGB (3 channels), OpenPose Body25 pose heatmaps (18 channels), and LIP human parsing masks (20 channels) • Advanced Neural Architecture: U-Net generator with self-attention mechanisms (26.4M parameters) and spectral-normalized PatchGAN discriminator (2.8M parameters) for stable adversarial training • Sophisticated Loss Function: Multi-component objective combining adversarial loss (LSGAN), perceptual loss (VGG19, 5 layers), L1 reconstruction, and feature matching losses • Complete Pipeline Implementation: End-to-end system from data preprocessing through model training with systematic analysis of each component Technical Details: Dataset: VITON-HD (10,482 training samples, 2,032 test samples) Framework: PyTorch Architecture: U-Net with self-attention + Spectral-normalized PatchGAN Training: Proof-of-concept validation (10 epochs, CPU-based, 256×192 resolution) Evaluation: SSIM, PSNR, L1 distance metrics with comprehensive quantitative and qualitative analysis

연구 동기 및 목표

• 3D 신체 측정치나 깊이 데이터에 의존하지 않는 이미지 기반 가상 시도 시스템을 개발하는 것.
• 복잡한 시각적 패턴과 현실적인 변형을 2D 이미지의 인체에 전송하는 도전 과제를 해결하는 것.
• 목표 옷 품목의 자세, 신체 형태 및 세부 기능을 유지하면서 사진처럼 생생한 가상 시도 결과를 생성하는 것.
• 다중 모달 특징 융합과 정밀화 네트워크를 통합하여 기존 GAN 기반 방법을 향상시켜 현실감을 향상시키는 것.

제안 방법

• 생성 과정을 조건화하기 위해 자세, 신체 형태 및 외관 특징를 융합한 옷에 관계없는 인체 표현을 사용한다.
• 다중 작업 인코더-디코더 네트워크가 목표 옷이 겹쳐진 굵은 이미지와 해당 옷 영역 마스크를 생성한다.
• 마스크는 목표 옷을 인체의 신체 형태와 자세에 맞추기 위해 왜곡 연산을 안내한다.
• 정밀화 네트워크는 왜곡된 옷을 굵은 이미지에 병합하며, 세부 사항을 유지하고 자연스러운 변형을 보장하도록 학습한다.
• 생성적 적대적 네트워크 손실과 적대적 훈련을 사용하여 현실감과 인지 품질을 향상시킨다.
• 후처리로 목 부위의 잔상 제거를 위한 세그멘테이션 모델과 콜라르 영역을 올바르게 처리하기 위해 수정된 인간 파서를 사용한다.

실험 결과

연구 질문

• RQ1 3D 신체 데이터나 깊이 정보를 사용하지 않고도 2D 이미지 기반 가상 시도 시스템이 사진처럼 생생한 결과를 달성할 수 있는가?
• RQ2 다중 모달 특징 융합은 가상 시도에서 의복 전송의 정렬 및 세부 사항 유지에 어떻게 기여하는가?
• RQ3 정밀화가 포함된 굵기에서 세밀함으로 향하는 GAN 프레임워크는 종단 간 GAN에 비해 시각적 품질을 얼마나 향상시키는가?
• RQ4 마스크 기반 왜곡과 정밀화 네트워크와 같은 다양한 구성 요소들이 잔상 감소와 현실감 향상에 기여하는 정도는 어떠한가?
• RQ5 의복 전송 과정에서 자수, 로고, 질감과 같은 복잡한 시각적 패턴을 유지할 수 있는가?

주요 결과

• 사용자 연구에서 VITON은 신체 형태를 반영하지 않은 표현에 비해 67.6%의 선호도를 기록했고, 자세를 반영하지 않은 표현에 비해 77.4%의 선호도를 기록했다.
• 정밀화 네트워크는 뿌연 옷 영역을 향상시키고 질감과 패턴과 같은 세부 사항을 유지함으로써 시각적 품질을 크게 향상시켰다.
• 왜곡 이전에 목 부위를 제거하기 위해 세그멘테이션 모델을 사용함으로써 목 부위 근처의 잔상이 효과적으로 제거되었다.
• 목 세그멘테이션을 포함한 업데이트된 인간 파서는 목 라인 스타일의 일관성 없는 문제를 줄였다.
• 세그멘테이션을 통해 원래 다리 영역을 유지함으로써 갭이 생기지 않으며 최종 출력의 현실감이 향상되었다.
• 정성 있는 결과 분석을 통해 다양한 의류 유형과 신체 형태에서 일관된 성능을 보였으며, 자연스러운 변형과 높은 시각적 정밀도를 확보했다.