[논문 리뷰] Neural 3D Clothes Retargeting from a Single Image

Jae Shin Yoon, Kihwan Kim외 2명|arXiv (Cornell University)|2021. 01. 29.

3D Shape Modeling and Analysis참고 문헌 68인용 수 5

한 줄 요약

이 논문은 대규모 물리 기반 시뮬레이션으로 생성된 합성 데이터를 활용하여 단일 RGB 이미지에서 3D 옷 리타겟팅을 위한 준지도 학습 신경망 프레임워크인 CRNet을 제안한다. 이 방법은 접촉점과 실루엣 일치를 통한 자기지도 학습을 통해 실제 이미지에 적응하여 지도 없는 3D 옷 데이터가 없는 상황에서도 사진처럼 생생하고 물리적으로 타당한 리타겟팅을 구현한다. 이는 가림과 운동 흐림 조건에서도 성능을 유지한다.

ABSTRACT

In this paper, we present a method of clothes retargeting; generating the potential poses and deformations of a given 3D clothing template model to fit onto a person in a single RGB image. The problem is fundamentally ill-posed as attaining the ground truth data is impossible, i.e., images of people wearing the different 3D clothing template model at exact same pose. We address this challenge by utilizing large-scale synthetic data generated from physical simulation, allowing us to map 2D dense body pose to 3D clothing deformation. With the simulated data, we propose a semi-supervised learning framework that validates the physical plausibility of the 3D deformation by matching with the prescribed body-to-cloth contact points and clothing silhouette to fit onto the unlabeled real images. A new neural clothes retargeting network (CRNet) is designed to integrate the semi-supervised retargeting task in an end-to-end fashion. In our evaluation, we show that our method can predict the realistic 3D pose and deformation field needed for retargeting clothes models in real-world examples.

연구 동기 및 목표

• 쌍체 데이터 부족으로 인해 진정한 3D 옷 변형 데이터를 확보할 수 없는 단일 이미지에서의 3D 옷 리타겟팅 문제를 해결하기 위해.
• 대규모 물리 기반 시뮬레이션으로 생성된 합성 데이터를 활용하여 2D 신체 자세와 3D 옷 변형 간의 공간적 관계를 학습하기 위해.
• 자기지도 신호를 사용하여 레이블이 없는 3D 옷 데이터로도 사전 학습된 옷 변형 모델을 실제 이미지에 적응시키기 위해.
• 실제 이미지의 다양한 인간 자세와 외관에 대해 다양한 옷 템플릿(예: 티셔츠, 드레스)을 정확하게 리타겟팅할 수 있도록 하기 위해.
• 명시적인 추적 또는 스무딩 모듈 없이도 온라인 개선을 통해 영상 시퀀스에서 시간적 안정성을 확보하기 위해.

제안 방법

• 다양한 신체 자세에서 물리 기반 시뮬레이션을 통해 대규모 합성 3D 옷 변형 데이터를 생성하여 2D에서 3D로의 대응 관계를 엔드 투 엔드로 학습할 수 있도록 한다.
• 준지도 학습을 통합하여 합성 데이터에서 실제 이미지로 지식을 전이할 수 있도록 신경 옷 리타겟팅 네트워크(CRNet)를 설계한다.
• 두 가지 자기지도 신호를 통해 물리적 타당성을 강제한다: (1) 신체와 옷 사이의 접촉점 일관성, (2) 목표 이미지와의 실루엣 일치.
• 추론 중에 옷 변형과 카메라 자세를 반복적으로 조정함으로써 시각적 현실감과 시간적 안정성을 향상시키는 온라인 개선 알고리즘을 도입한다.
• 고정된 토폴로지 메쉬를 사용하여 리타겟팅된 옷에 텍스처 매핑과 외관 전이를 수행할 수 있도록 하며, 재학습 없이도 새로운 옷에 적용할 수 있다.
• 합성 데이터를 통해 SMPL 기반 신체 사전 지식을 암묵적으로 활용하여 명시적인 3D 신체 자세 추정을 피하고 계산 비용을 절감한다.

실험 결과

연구 질문

• RQ1 레이블이 없는 3D 옷 데이터가 없는 상황에서 단일 2D 이미지로부터 신경망이 현실적인 3D 옷 변형을 학습할 수 있는가?
• RQ2 물리 기반 시뮬레이션과 자기지도 신호를 어떻게 조합하여 3D 옷 템플릿을 실제 이미지에 제로샷 적응시킬 수 있는가?
• RQ3 접촉점과 실루엣 일치가 단일 이미지 기반 3D 옷 리타겟팅의 현실감과 정확도를 어느 정도 향상시킬 수 있는가?
• RQ4 최소한의 아키텍처 수정으로 다양한 옷 템플릿(예: 티셔츠, 드레스)에 대해 일반화할 수 있는가?
• RQ5 온라인 개선이 명시적인 시간 모델링 없이도 공간 정렬과 영상 시퀀스의 시간적 안정성을 향상시키는가?

주요 결과

• 복잡한 자세, 가림, 운동 흐림 조건이 있는 실제 이미지에서도 높은 품질의 3D 옷 리타겟팅을 달성하여 시각적 현실감과 기하학적 타당성을 입증한다.
• 접촉점 손실($\mathcal{L}_c$)과 실루엣 경계 손실($\mathcal{L}_d$)의 포함으로 재구성 정확도가 크게 향상되었으며, 분석 실험을 통해 $\mathcal{L}_c + \mathcal{L}_d$가 개별 손실보다 우수한 성능을 보였다.
• 온라인 개선 단계는 유튜브 영상 클립에서 시간적 안정성 점수 1.37을 기록하여 이론적 하한값 1에 가까워지며, 명시적인 추적 없이도 매끄러운 움직임을 구현한다.
• CRNet 프레임워크는 최소한의 수정으로 새로운 옷 템플릿(예: 원피스 드레스)에 성공적으로 일반화되었으며, 출력 차원 조정과 접촉점, 의미 경계 재정의만으로 가능했다.
• SMPL 기반 신체 재구성 후 옷 맞춤 기반의 기준 모델보다 성능이 뛰어나며, 신체 자세 추정 오차 전파 없이 직접적으로 옷 변형을 학습하기 때문이다.
• 템플릿과 대상 옷의 토폴로지가 다를 경우(예: 티셔츠에서 긴팔 셔츠로)에도 텍스처 매핑을 통해 사진 수준의 3D 가상 피팅을 가능하게 하였다.