[논문 리뷰] Towards Hard-pose Virtual Try-on via 3D-aware Global Correspondence Learning

Zaiyu Huang, Hanhui Li외 4명|arXiv (Cornell University)|2022. 11. 25.

3D Shape Modeling and Analysis인용 수 7

한 줄 요약

이 논문은 3D 기하학적 사전 지식을 암묵적 지도를 통해 활용하여 전반적인 대응 추정을 향상시키는 3D 인지 전역 대응 학습(3D-GCL)이라는 새로운 방법을 제안한다. 이는 거친 것에서 정밀한 것으로의 개선과 3D 정규화 손실을 결합하여 의류 무늬의 보존과 큰 자세 및 시점 변화에 대한 처리 능력을 향상시켜 기존 방법들보다 벤치마크 및 자체 제작한 HardPose 데이터셋에서 최고의 성능을 달성한다.

ABSTRACT

In this paper, we target image-based person-to-person virtual try-on in the presence of diverse poses and large viewpoint variations. Existing methods are restricted in this setting as they estimate garment warping flows mainly based on 2D poses and appearance, which omits the geometric prior of the 3D human body shape. Moreover, current garment warping methods are confined to localized regions, which makes them ineffective in capturing long-range dependencies and results in inferior flows with artifacts. To tackle these issues, we present 3D-aware global correspondences, which are reliable flows that jointly encode global semantic correlations, local deformations, and geometric priors of 3D human bodies. Particularly, given an image pair depicting the source and target person, (a) we first obtain their pose-aware and high-level representations via two encoders, and introduce a coarse-to-fine decoder with multiple refinement modules to predict the pixel-wise global correspondence. (b) 3D parametric human models inferred from images are incorporated as priors to regularize the correspondence refinement process so that our flows can be 3D-aware and better handle variations of pose and viewpoint. (c) Finally, an adversarial generator takes the garment warped by the 3D-aware flow, and the image of the target person as inputs, to synthesize the photo-realistic try-on result. Extensive experiments on public benchmarks and our HardPose test set demonstrate the superiority of our method against the SOTA try-on approaches.

연구 동기 및 목표

• 기존의 가상 트라이온 방법들이 큰 자세 및 시점 변화를 다루는 데에 한계를 보이고 있는 문제를 해결하기 위해.
• 2D 기반의 유량 추정에서 3D 기하학적 가이던스의 부족으로 인해 발생하는 무늬 왜곡 및 아티팩트 문제를 해결하기 위해.
• 국소적 유량 추정 대신 전역 대응 학습을 통해 의류 왜곡에서의 장거리 종속성 모델링을 향상시키기 위해.
• 명시적인 3D 메쉬 예측을 피하면서도 3D 인간 몸체 사전 지식을 암묵적으로 대응 학습에 통합하기 위해.
• 다양한 자세와 시점에서 어려운 사람 간 시나리오에서도 사진 수준의 현실감 있는 트라이온 결과를 달성하기 위해.

제안 방법

• 두 개의 병렬 인코더가 소스 및 타겟 이미지로부터 자세 인지 및 고수준 특징 표현을 추출한다.
• 다중 개선 모듈을 갖춘 거친 것에서 정밀한 것으로의 디코더가 특징 맵 간의 교차 어텐션을 계산하여 해상도가 전체인 전역 대응을 예측한다.
• 기하학적 인지 대응 개선 모듈(GACRMs)이 단계별로 점진적으로 상향 샘플링하고 대응 맵을 개선한다.
• 새로운 3D 정규화 손실이 도입되었으며, SMPL 기반의 유량을 사용해 개선 과정을 암묵적으로 지도하고 기하학적 일관성을 강제한다.
• 최종적으로 왜곡된 의류는 타겟 사람 이미지와 함께 생성적 적대적 생성기로 입력되어 사진 수준의 현실감 있는 트라이온 결과를 합성한다.
• 명시적인 3D 메쉬 예측을 피하기 위해 3D 사전 지식을 암묵적 지도로 사용함으로써 노이즈를 줄이고 강인성을 향상시킨다.

실험 결과

연구 질문

• RQ1 큰 자세 변화 상황에서 의류 왜곡에 장거리 변형을 효과적으로 모델링할 수 있는가?
• RQ2 명시적인 3D 메쉬 재구성에 의존하지 않고 3D 기하학적 사전 지식을 어떻게 효과적으로 대응 학습에 통합할 수 있는가?
• RQ3 SMPL 유량을 통한 암묵적 3D 지도가 제약 조건이 없는 가상 트라이온 시나리오에서 유량 추정의 정확성과 강인성을 향상시키는가?
• RQ4 제안된 3D 정규화 손실이 외관 전용 유량 추정에 비해 아티팩트를 얼마나 줄이고 무늬 보존을 향상시키는가?
• RQ5 다양한 자세와 시점 복잡도를 가진 다양한 데이터셋에 대해 이 방법은 얼마나 잘 일반화되는가?

주요 결과

• 제안된 3D-GCL 방법은 DeepFashion 데이터셋에서 mIoU 점수 74.22를 기록하여 의류 왜곡에서 뛰어난 의미적 정확도를 보였다.
• 이 방법은 FID 점수 10.58을 기록하여 고해상도의 사진 수준의 현실감 있는 트라이온 결과를 보였다.
• 자체 제작한 HardPose 테스트 세트에서 이 방법은 두 번째로 우수한 성능을 보인 Pose-with-Style 방법을 상당한 격차로 앞서며 복잡한 시나리오에서 강력한 일반화 능력을 입증했다.
• 제거 실험 결과, 전역 대응 추정과 3D 정규화 손실 모두 필수적임을 확인하였으며, 후자는 mIoU 향상에 가장 기여했다.
• 사람 평가 결과, 시각적 품질에 대해 가장 높은 비율의 긍정 평가를 기록하여 무늬 및 구조 보존 측면에서의 인지적 우수성을 확인했다.
• 전역 대응과 3D 정규화 손실을 모두 포함한 전체 모델이 모든 지표에서 최고의 성능을 기록하여 장거리 모델링과 기하학적 가이던스의 상호 보완성을 검증했다.