[논문 리뷰] Towards Photo-Realistic Virtual Try-On by Adaptively Generating$\leftrightarrow$Preserving Image Content

Han Yang, Ruimao Zhang외 4명|arXiv (Cornell University)|2020. 03. 12.

Generative Adversarial Networks and Image Synthesis참고 문헌 49인용 수 4

한 줄 요약

이 논문은 예측된 의미적 레이아웃에 기반해 이미지 컨텐츠를 적응적으로 생성하거나 유지하는 새로운 이미지 기반 가상 시도 프레임워크인 적응형 컨텐츠 생성 및 유지 네트워크(ACGPN)를 제안한다. 의미적 레이아웃 생성 모듈, 이阶 차분 제약을 갖춘 워핑 모듈, 컨텐츠 융합 모듈을 통합함으로써 ACGPN은 특히 복잡한 가림과 자세 변화가 있는 어려운 케이스에서 최신 기술 수준의 사진처럼 현실적인 결과를 달성하며, VITON 데이터셋에서 인지 품질과 세부 정보 유지 측면에서 이전 방법들을 능가한다.

ABSTRACT

Image visual try-on aims at transferring a target clothing image onto a reference person, and has become a hot topic in recent years. Prior arts usually focus on preserving the character of a clothing image (e.g. texture, logo, embroidery) when warping it to arbitrary human pose. However, it remains a big challenge to generate photo-realistic try-on images when large occlusions and human poses are presented in the reference person. To address this issue, we propose a novel visual try-on network, namely Adaptive Content Generating and Preserving Network (ACGPN). In particular, ACGPN first predicts semantic layout of the reference image that will be changed after try-on (e.g. long sleeve shirt$ ightarrow$arm, arm$ ightarrow$jacket), and then determines whether its image content needs to be generated or preserved according to the predicted semantic layout, leading to photo-realistic try-on and rich clothing details. ACGPN generally involves three major modules. First, a semantic layout generation module utilizes semantic segmentation of the reference image to progressively predict the desired semantic layout after try-on. Second, a clothes warping module warps clothing images according to the generated semantic layout, where a second-order difference constraint is introduced to stabilize the warping process during training. Third, an inpainting module for content fusion integrates all information (e.g. reference image, semantic layout, warped clothes) to adaptively produce each semantic part of human body. In comparison to the state-of-the-art methods, ACGPN can generate photo-realistic images with much better perceptual quality and richer fine-details.

연구 동기 및 목표

• 큰 가림과 복잡한 인간 자세 조건에서 사진처럼 현실적인 가상 시도 이미지를 생성하는 데 도전하는 것.
• 이미지 합성 과정에서 옷의 세부 정보(예: 질감, 로고)와 인간 신원(자세, 신체 부위)을 개선하여 유지하는 것.
• 고정된 워핑 전략이 아닌 예측된 의미적 레이아웃에 기반해 적응적인 컨텐츠 생성 또는 유지 기능을 제공하는 것.
• 의미적 영역의 겹침과 공간 변형을 포함한 어려운 시도 케이스를 효과적으로 처리하는 것.

제안 방법

• 의미적 생성 모듈(SGM)은 의미 분할을 사용하여 노출된 신체 부위 마스크와 변형된 옷 영역 마스크를 점진적으로 예측하며, 원본 옷의 형태에서 이 과정을 분리한다.
• 옷 워핑 모듈(CWM)은 예측된 레이아웃에 따라 대상 옷 이미지를 워핑하며, 훈련을 안정화하고 복잡한 질감을 유지하기 위해 이阶 차분 제약을 통합한다.
• 컨텐츠 융합 모듈(CFM)은 참조 이미지, 워핑된 옷, 합성된 신체 부위를 적응적으로 통합하여 의미적 영역별로 컨텐츠 생성 또는 유지 여부를 결정한다.
• 이 프레임워크는 공간 구성 인식을 고려한 스플릿-트랜스폼-머지 전략을 활용하여 높은 정밀도의 시도 이미지를 생성한다.
• 모델은 VITON 데이터셋에서 레이아웃 예측, 워핑, 이미지 복원에 대한 손실 함수를 사용해 엔드 투 엔드로 훈련된다.
• 제거 실험은 워핑 손실에서 비대상 신체 부위 조합과 이阶 차분 제약의 필요성을 입증한다.

실험 결과

연구 질문

• RQ1 어떤 방식으로 가상 시도 모델이 복잡한 자세와 가림 조건에서 질감, 로고, 자수 등의 옷의 세부 정보를 효과적으로 유지할 수 있는가?
• RQ2 의미적 레이아웃 예측은 가상 시도에서 컨텐츠 생성 및 유지 정확도를 얼마나 향상시킬 수 있는가?
• RQ3 이阶 차분 제약은 질감이 복잡한 옷의 워핑을 안정화시키는 데 어떤 역할을 하는가?
• RQ4 예측된 레이아웃에 기반한 적응적 컨텐츠 생성은 고정 워핑 또는 엔드 투 엔드 합성 방식보다 어려운 시도 케이스에서 어떻게 우월한가?

주요 결과

• ACGPN은 VITON 데이터셋에서 사용자 선호도 평균 점수 89.8%를 기록하여 사용자 연구에서 CP-VTON(10.2%)과 VITON(23.4%)을 크게 앞서며 성능을 뛰어나게 한다.
• 어려운 난이도 케이스에서 ACGPN은 사용자 선호도 96.0%를 달성하여 복잡한 가림과 자세 변화를 다루는 데 뛰어난 성능을 보였다.
• 제거 실험은 비대상 신체 부위 조합이 시각적 품질을 향상시키며 신체 부위의 변형과 흐림을 줄임을 확인했다.
• 이阶 차분 제약은 질감이 복잡한 옷의 워핑 품질을 크게 향상시켜 왜곡을 감소시키고 질감의 정확도를 향상시켰다.
• 워핑 제약이 없는 ACGPN도 정확한 레이아웃 예측 덕분에 양호한 성능을 보이지만, 특히 복잡한 질감의 옷에서는 제약이 필수적임을 확인했다.
• 시각적 비교 결과 ACGPN은 특히 높은 가림이 발생하는 영역에서 더 선명하고 현실적인 결과를 생성하며 올바른 세부 정보와 공간 일관성을 확보했다.