[논문 리뷰] Parser-Free Virtual Try-on via Distilling Appearance Flows

Yuying Ge, Yibing Song외 4명|arXiv (Cornell University)|2021. 03. 08.

Generative Adversarial Networks and Image Synthesis참고 문헌 31인용 수 10

한 줄 요약

이 논문은 인간의 파싱에 의존하지 않고 고해상도의 사진처럼 생긴 시도 이미지를 생성하는 파서 프리 가상 시도 방법인 PF-AFN을 제안한다. 이는 새로운 '선생-튜터-학생' 지식 정제 기반의 기법을 사용하여, 파싱 기반 모델의 출력을 '튜터 지식'으로 간주하고 실제 사람 이미지를 '선생 지식'으로 삼아 자기 지도 학습을 수행함으로써, 학생 네트워크가 아티팩트를 보정하고 우수한 결과를 도출하도록 한다. 또한 밀도 있는 대응 매칭을 위한 외관 흐름 정제를 통해 성능을 향상시킨다.

ABSTRACT

Image virtual try-on aims to fit a garment image (target clothes) to a person image. Prior methods are heavily based on human parsing. However, slightly-wrong segmentation results would lead to unrealistic try-on images with large artifacts. Inaccurate parsing misleads parser-based methods to produce visually unrealistic results where artifacts usually occur. A recent pioneering work employed knowledge distillation to reduce the dependency of human parsing, where the try-on images produced by a parser-based method are used as supervisions to train a "student" network without relying on segmentation, making the student mimic the try-on ability of the parser-based model. However, the image quality of the student is bounded by the parser-based model. To address this problem, we propose a novel approach, "teacher-tutor-student" knowledge distillation, which is able to produce highly photo-realistic images without human parsing, possessing several appealing advantages compared to prior arts. (1) Unlike existing work, our approach treats the fake images produced by the parser-based method as "tutor knowledge", where the artifacts can be corrected by real "teacher knowledge", which is extracted from the real person images in a self-supervised way. (2) Other than using real images as supervisions, we formulate knowledge distillation in the try-on problem as distilling the appearance flows between the person image and the garment image, enabling us to find accurate dense correspondences between them to produce high-quality results. (3) Extensive evaluations show large superiority of our method (see Fig. 1).

연구 동기 및 목표

• 정확한 인간 파싱에 의존하지 않아 발생하는 아티팩트로 인해 성능이 저하되는 파서 기반 가상 시도 방법의 한계를 해결하기 위해.
• 기존의 파서 프리 방법에서 선생 모델의 출력에 기인한 아티팩트로 인해 이미지 품질이 제한되는 성능 저하 문제를 해결하기 위해.
• 실제 사람 이미지를 감독 신호로 활용하여 자기 지도 학습 기반의 파서 프리 프레임워크를 개발하여 이미지의 현실성 향상을 위해.
• 사람과 옷 이미지 간의 밀도 있는 대응 학습을 외관 흐름 정제를 통해 향상시켜 더 정확한 워핑 품질을 확보하기 위해.

제안 방법

• 튜터는 파서 기반 모델로 가짜 시도 이미지를 생성하고, 선생은 자기 지도 학습을 위한 실제 사람 이미지로 사용되는 '선생-튜터-학생' 지식 정제 프레임워크를 도입한다.
• 파서 기반 튜터의 가짜 시도 이미지를 파서 프리 학생 네트워크의 입력으로 사용하며, 이는 실제 사람 이미지를 재구성하도록 학습되어 아티팩트 보정이 가능하다.
• 밀도 있는 대응 정보를 사람과 옷 이미지 간에 전달하기 위해 외관 흐름 정제를 활용하여 워핑 정확도를 향상시킨다.
• 정밀한 흐름 예측을 위해 상호 연결된 흐름 네트워크(FN)를 포함한 계층적 흐름 네트워크를 설계한 외관 흐름 추정 네트워크(AFEN)를 제안한다.
• 파서 기반 튜터가 정확한 워핑을 수행할 경우에만 학생 네트워크를 지도하는 조정 가능한 지식 정제를 적용하여 오류의 전파를 방지한다.
• 실제 이미지의 재구성 손실과 흐름 기반 정제를 조합하여 학생 네트워크를 학습함으로써 현실적이며 잘 정렬된 시도 결과를 확보한다.

실험 결과

연구 질문

• RQ1 파서 기반 모델의 출력이나 인간의 세분화 마스크에 의존하지 않고도 파서 프리 가상 시도 모델이 뛰어난 이미지 품질을 달성할 수 있는가?
• RQ2 실제 사람 이미지를 사용한 자기 지도 학습이 파서 기반 모델의 아티팩트에서 유도된 지식 정제보다 더 현실적인 시도 결과를 만들어낼 수 있는가?
• RQ3 사람과 옷 이미지 간의 외관 흐름을 정제함으로써 더 정확한 밀도 있는 대응 관계를 확보하고 더 나은 워핑 품질을 달성할 수 있는가?
• RQ4 조정 가능한 지식 정제 기반의 설계가 튜터 모델의 오류 예측을 학습자 네트워크가 배우는 것을 방지할 수 있는가?
• RQ5 이러한 방법이 이미지의 정밀도와 현실성 측면에서 최신의 파서 기반 및 파서 프리 방법과 비교해 어떻게 성능을 냈는가?

주요 결과

• PF-AFN은 VITON 데이터셋에서 Fréchet Inception Distance(FID) 10.09를 기록하여 파서 기반 방법과 기존 최고의 파서 프리 방법인 WUTON을 뛰어넘었다.
• MPV 데이터셋에서는 FID와 사용자 선호도 모두에서 WUTON을 초월하였으며, 사용자 비교 결과 71.62%가 PF-AFN을 WUTON보다 선호하였다.
• 절연 실험 결과, AFEN 내의 정제, 상관관계, 또는 계층적 모듈을 제거할 경우 성능 저하가 발생하여 FID가 10.09에서 11.90 이상으로 증가함을 확인하였다.
• 조정 가능한 지식 정제 기반 설계는 FID를 10.09로 낮추었으며, 정제 없이 학습할 경우 11.40, 고정된 정제를 사용할 경우 10.86로 성능이 떨어짐을 확인하여 오류 지도를 효과적으로 차단함을 입증하였다.
• 사용자 연구 결과, PF-AFN은 CP-VTON, ClothFlow, ACGPN, WUTON보다 더 현실적이고 시각적으로 선호되는 시도 이미지를 생성함을 확인하였으며, A/B 테스트에서 다수의 선호도를 확보하였다.
• 외관 흐름 정제 구성 요소는 핵심적이다. 이 요소를 제거하거나 단순한 인코더-디코더 아키텍처를 사용할 경우 FID 점수가 크게 악화되어 정확한 대응 학습에 기여하는 역할을 확인하였다.