[논문 리뷰] End-to-End Learning of Geometric Deformations of Feature Maps for Virtual Try-On

Thibaut Issenhuth, Jérémie Mary외 1명|arXiv (Cornell University)|2019. 06. 04.

Image Processing and 3D Reconstruction참고 문헌 43인용 수 19

한 줄 요약

이 논문은 가상 시도에서 의류의 패턴을 보존하면서 목표 인물에 맞게 특징 맵을 왜곡할 수 있는 학습 가능한 컨볼루션형 기하 매칭기를 갖춘 엔드 투 엔드 시아모이스 U-Net 아키텍처인 WUTON을 제안한다. 이는 사진 수준의 가상 시도를 가능하게 한다. 기하 매칭기에서 인식 및 적대적 손실을 역전파함으로써 모델은 줄무늬와 같은 복잡한 패턴을 유지하며, LPIPS 및 시각적 품질 측정 기준에서 최신 기술(SOTA)을 초월한다.

ABSTRACT

The 2D virtual try-on task has recently attracted a lot of interest from the research community, for its direct potential applications in online shopping as well as for its inherent and non-addressed scientific challenges. This task requires to fit an in-shop cloth image on the image of a person. It is highly challenging because it requires to warp the cloth on the target person while preserving its patterns and characteristics, and to compose the item with the person in a realistic manner. Current state-of-the-art models generate images with visible artifacts, due either to a pixel-level composition step or to the geometric transformation. In this paper, we propose WUTON: a Warping U-net for a Virtual Try-On system. It is a siamese U-net generator whose skip connections are geometrically transformed by a convolutional geometric matcher. The whole architecture is trained end-to-end with a multi-task loss including an adversarial one. This enables our network to generate and use realistic spatial transformations of the cloth to synthesize images of high visual quality. The proposed architecture can be trained end-to-end and allows us to advance towards a detail-preserving and photo-realistic 2D virtual try-on system. Our method outperforms the current state-of-the-art with visual results as well as with the Learned Perceptual Image Similarity (LPIPS) metric.

연구 동기 및 목표

• 2D 가상 시도 시스템에서 패턴이 있는 의류에 대해 현실적인 기하 변형을 생성하는 데 도전하는 것.
• 기존 방법에서의 픽셀 수준의 조합 오류 및 최적화되지 않은 왜곡 문제를 해결하는 것.
• 분리된 이미지 조합 단계가 필요 없도록, 왜곡과 생성을 통합한 유일한 엔드 투 엔드 프레임워크로 통합하는 것.
• 최종 합성 이미지에서 유도된 손실을 사용해 기하 매칭기를 엔드 투 엔드로 훈련시켜 시각적 정밀도와 인지 유사성을 향상시키는 것.
• 추론 시 저품질의 인간 퍼싱 결과에 대해서도 강건성을 유지하면서 고품질 출력을 유지하는 것.

제안 방법

• 모든 사람 표현과 의류 이미지를 병렬로 처리하는 시아모이스 U-Net 생성자 제안.
• 의류 특징 맵을 왜곡하기 위해 투명판 스퍼링 매개변수를 통해 공간 변환을 학습하는 컨볼루션형 기하 매칭기 도입.
• 에코더와 디코더 레이어 간의 스킵 연결을 적용하며, 특징들이 매칭기에서 기하학적으로 변형된 후 연결된다.
• L1, 인식(VGG 기반), 및 언페어드 적대적 손실을 조합한 다중 작업 손실을 사용해 전체 네트워크를 엔드 투 엔드로 훈련.
• 최종 이미지 재구성 손실(L1, 인식, 적대적)을 기하 매칭기로 역전파하여, 기하학적 보존 변형을 학습할 수 있도록 한다.
• 훈련 중에 사전 학습된 인간 퍼서를 사용해 무의미한 사람 표현(ap)을 생성하며, 이는 의류를 마스킹하면서도 정체성과 자세를 유지한다.

실험 결과

연구 질문

• RQ1 기하 매칭기의 엔드 투 엔드 훈련이 가상 시도에서 왜곡된 의류 패턴의 현실감을 향상시키는가?
• RQ2 별도의 이미지 조합 단계를 제거하면 더 나은 시각적 품질과 더 자연스러운 그림자 및 대비가 달성되는가?
• RQ3 인지 및 적대적 손실의 엔드 투 엔드 역전파가 줄무늬와 같은 복잡한 패턴의 보존에 어떤 영향을 미치는가?
• RQ4 추론 시 인간 퍼싱 결과가 열악한 경우 모델의 강건성은 어느 정도인가?
• RQ5 LPIPS 및 시각적 정밀도 측정 기준에서 제안된 방법이 최신 기술(SOTA)과 정량적·정성적으로 어떻게 비교되는가?

주요 결과

• WUTON은 쌍체 테스트 세트에서 LPIPS 점수 0.101 ± 0.047을 기록하여 CP-VTON(0.131 ± 0.058)과 원본 무의미한 표현을 사용한 CP-VTON(0.182 ± 0.049)을 크게 앞서며 성능을 뛰어넘었다.
• 언페어드 적대적 손실이 쌍체 적대적 손실보다 더 나은 시각적 결과를 내며, 특히 원천과 목표 의류 간의 큰 형태 차이를 다룰 때 유리하다.
• 적대적 손실을 제거하면 LPIPS 점수가 0.107 ± 0.049로 상승하여, 적대적 훈련이 인지적 현실감과 대비를 향상시킨다는 것을 입증한다.
• 이미지 수준의 손실을 기하 매칭기로 역전파하지 않도록 하면 LPIPS 점수가 0.112 ± 0.053로 상승하여, 기하학적 보존을 위해 엔드 투 엔드 훈련이 필수적임을 증명한다.
• 엔드 투 엔드 아키텍처를 두 단계 프로세스(초기 생성 + 조합)로 대체하면 성능이 떨어지며, LPIPS 점수가 0.105 ± 0.047로 상승한다.
• 추론 시 인간 퍼서를 GRAY 바운딩 박스로 교체하더라도 모델은 강력한 성능을 유지하여 퍼싱 오류에 대한 내성적 저항력을 보여준다.