[논문 리뷰] VITON-GAN: Virtual Try-on Image Generator Trained with Adversarial Loss

Shion Honda|arXiv (Cornell University)|2019. 01. 01.

Generative Adversarial Networks and Image Synthesis인용 수 23

한 줄 요약

이 논문은 가상 시착에서 가림을 고려하여 이미지 품질을 향상시키기 위해 적대적 손실을 시착 모듈에 통합한 VITON-GAN을 제안한다. 사람의 표현, 옷 이미지, 생성된 출력을 기반으로 생성자에 대해 적대적으로 훈련하는 디세이터와 함께, 모델은 특히 교차된 팔과 같은 어려운 케이스에서 더 선명하고 현실적인 시착 결과를 생성한다.

ABSTRACT

Generating a virtual try-on image from in-shop clothing images and a model person's snapshot is a challenging task because the human body and clothes have high flexibility in their shapes. In this paper, we develop a Virtual Try-on Generative Adversarial Network (VITON-GAN), that generates virtual try-on images using images of in-shop clothing and a model person. This method enhances the quality of the generated image when occlusion is present in a model person's image (e.g., arms crossed in front of the clothes) by adding an adversarial mechanism in the training pipeline.

연구 동기 및 목표

• 모델의 신체 부위(예: 팔)가 옷에 의해 가려질 때 고품질의 가상 시착 이미지를 생성하는 문제를 해결한다.
• CP-VTON과 같은 이전 방법들이 재구성 손실에 의존하여 가림 상황에서 뿌연 결과를 낼 수 있는 한계를 극복한다.
• 적대적 훈련을 활용하여 가상 시착 생성의 시각적 정밀도와 인지적 현실감을 향상시킨다.
• 가게에서 찍은 옷 이미지와 모델의 스냅샷으로부터 정확하고 고해상도의 시착 이미지를 생성함으로써 더 현실적인 전자상거래 경험을 가능하게 한다.

제안 방법

• CP-VTON에서 유도된 두 모듈 아키텍처인 기하 일치 모듈(GMM)과 시착 모듈(TOM)을 채택한다.
• TOM에 적대적 훈련을 도입하여 실제와 생성된 시착 이미지를 구분하는 디세이터를 추가한다.
• 생성된 이미지, 가게에서 찍은 옷 이미지, 사람의 표현(자세 및 파싱 맵)을 입력으로 사용해 디세이터를 훈련시킨다.
• GMM에서 생성된 이미지와 실제 옷 레이어 간의 L1 손실을 사용하여 신체 내 구조적 세부 사항을 유지한다.
• 일반화 능력을 향상시키기 위해 랜덤 수평 반전을 데이터 증강 기법으로 사용한다.
• 적대적 손실을 사용해 전체 파ipeline를 엔드 투 엔드로 훈련시켜 인지적 품질과 현실감을 향상시킨다.

실험 결과

연구 질문

• RQ1 적대적 훈련은 특히 가림 영역에서 가상 시착 이미지의 현실성과 선명도를 향상시키는가?
• RQ2 복잡한 신체-옷 상호작용을 다룰 때 적대적 손실은 재구성 기반 손실보다 어떻게 다를까?
• RQ3 신체가 부분적으로 가려졌을 때 손과 팔과 같은 세부 사항을 얼마나 잘 유지할 수 있는가?
• RQ4 옷의 위상적 변화(예: 반소매에서 긴소매로의 전환)가 발생할 경우 모델의 실패 모드는 어떠한가?
• RQ5 기본 모델 대비 적대적 손실 통합이 생성된 시착 이미지의 뿌연함을 줄이는가?

주요 결과

• CP-VTON에 비해 VITON-GAN은 특히 팔을 교차시킨 경우와 같은 가림 상황에서 더 선명하고 현실적인 팔과 손을 생성한다.
• 대부분의 테스트 케이스에서 높은 이미지 품질을 유지하며, 비가림 상황에서는 최신 기술 수준의 결과와 유사한 성능을 보인다.
• 개선된 성능에도 불구하고, 복잡한 자세나 옷 전환 상황에서는 종종 뿌연 이미지를 생성하는 경우가 있다.
• TPS 변환으로 위상적 변화(예: 반소매 셔츠가 긴소매 셔츠로 바뀌는 경우)를 처리하지 못할 경우 실패가 발생한다.
• 적대적 손실은 특히 부분적 가림 영역에서 인지적 품질을 향상시키고 뿌연함을 줄이는 데 효과적이다.
• 대체로 가림에 대해 강건한 성능를 보이지만, 옷의 구조적 변화가 큰 경우 처리에 어려움이 남.