[논문 리뷰] Deep Fashion3D: A Dataset and Benchmark for 3D Garment Reconstruction from Single Images

Heming Zhu, Yu Cao외 6명|arXiv (Cornell University)|2020. 03. 28.

3D Shape Modeling and Analysis참고 문헌 68인용 수 14

한 줄 요약

이 논문은 현재까지 공개된 바 있는 가장 큰 3D 의류 데이터셋인 Deep Fashion3D를 소개한다. 이 데이터셋은 10개 카테고리에 속하는 2078개의 실제 의류 모델을 포함하며, 3D 특징선, 다중 시점 이미지, 신체 자세 등의 풍부한 애너테이션을 제공한다. 또한 단일 이미지에서 다양한 의류 형태를 재구성하기 위해 메시와 암시적 표현을 통합하는 새로운 적응형 템플릿 기반 네트워크를 제안한다. 이는 카테고리별로 특화된 모델에 비해 일반화 능력을 크게 향상시키고 과적합을 줄이는 데 기여한다.

ABSTRACT

High-fidelity clothing reconstruction is the key to achieving photorealism in a wide range of applications including human digitization, virtual try-on, etc. Recent advances in learning-based approaches have accomplished unprecedented accuracy in recovering unclothed human shape and pose from single images, thanks to the availability of powerful statistical models, e.g. SMPL, learned from a large number of body scans. In contrast, modeling and recovering clothed human and 3D garments remains notoriously difficult, mostly due to the lack of large-scale clothing models available for the research community. We propose to fill this gap by introducing Deep Fashion3D, the largest collection to date of 3D garment models, with the goal of establishing a novel benchmark and dataset for the evaluation of image-based garment reconstruction systems. Deep Fashion3D contains 2078 models reconstructed from real garments, which covers 10 different categories and 563 garment instances. It provides rich annotations including 3D feature lines, 3D body pose and the corresponded multi-view real images. In addition, each garment is randomly posed to enhance the variety of real clothing deformations. To demonstrate the advantage of Deep Fashion3D, we propose a novel baseline approach for single-view garment reconstruction, which leverages the merits of both mesh and implicit representations. A novel adaptable template is proposed to enable the learning of all types of clothing in a single network. Extensive experiments have been conducted on the proposed dataset to verify its significance and usefulness. We will make Deep Fashion3D publicly available upon publication.

연구 동기 및 목표

• 의복 재구성 분야의 딥러닝 모델 훈련을 위해 대규모 고품질 3D 의류 데이터셋의 부족 문제를 해결하기 위해.
• 실제 변형과 풍부한 애너테이션을 포함한 종합적 기준을 제공하여 단일 이미지에서 고해상도 3D 의류 재구성을 가능하게 하기 위해.
• 카테고리별로 특화된 모델의 한계를 극복하기 위해 다양한 의류 형태에 일반화 가능한 통합 네트워크 아키텍처를 개발하기 위해.
• 단일 네트워크 내에서 모든 의류 유형에 걸쳐 학습을 지원하는 새로운 적응형 템플릿을 도입하여 과적합을 줄이고 일반화 능력을 향상시키기 위해.

제안 방법

• 데이터셋은 다중 시점 RGB 이미지와 3D 재구성 파이프라인을 활용해 실제 의류를 스캔하여 구축되었으며, 현실적인 주름과 변형을 잘 포착한다.
• 각 의류는 재구성된 점군에 기반한 새로운 레이블링 프로토콜을 통해 3D 특징선(목선, 허리선 등 핵심 기하학적 윤곽선)을 애너테이션한다.
• 새로운 적응형 템플릿이 도입되었으며, 의류 유형에 따라 의미적 영역과 특징선을 동적으로 활성화하여 단일 네트워크가 다양한 형태를 처리할 수 있도록 한다.
• 메시 기반 및 암시적 표현 학습을 결합한 방법을 사용한다: 메시 헤드는 의류 형태를 예측하고, 암시적 헤드는 ResNet-18 특징 추출기에서 생성된 잠재 코드를 사용해 표면을 회귀한다.
• 다중 작업 손실 함수는 특징선 피팅을 위한 카프먼 거리와 모서리 길이 정규화를 조합하여 미끄러운 표면을 확보하고, 진동형 아티팩트를 줄인다.
• 훈련은 복합 손실 함수를 사용한다: L_total = L_recon + λ_reg * ||θ||² + L_line + λ_edge * L_edge, 여기서 λ_reg = 1e-5 이고 λ_edge = 0.2 이다.

실험 결과

연구 질문

• RQ1 카테고리별로 특화된 분기 없이도 단일 딥러닝 모델이 다양한 3D 의류 형태에 일반화할 수 있는가?
• RQ2 고정된 카테고리별 템플릿에 비해 적응형 템플릿이 일반화 능력 향상과 과적합 감소에 얼마나 효과적인가?
• RQ3 3D 특징선 애너테이션은 단일 이미지 기반 3D 의류 재구성의 정확성과 기하학적 타당성에 어느 정도 기여하는가?
• RQ4 다양하고 대규모의 데이터셋으로 훈련된 통합 네트워크가 제한된 서브셋 전용 데이터로 훈련된 모델보다 성능이 뛰어나게 되는가?

주요 결과

• Deep Fashion3D 데이터셋은 10개 카테고리에 속하는 2078개의 3D 의류 모델을 포함하며, 이는 MGN(356개 모델)과 비교해 훨씬 크다.
• 제안된 적응형 템플릿 덕분에 전체 데이터셋에서의 훈련이 가능해졌으며, 카테고리별 특화 모델에 비해 더 뛰어난 일반화 능력과 낮은 과적합을 달성했다.
• 높은 정확도로 특징선 예측을 수행하여, 훈련 중에 볼 수 없었던 실생활 이미지에서도 실제값과 유사한 결과를 도출했다.
• Fine-tuned ResNet-18를 사용한 OccNet 기반의 암시적 표면 재구성은 단일 이미지에서 정확한 기하학적 복원을 달성했으며, 다중 시점 감시 덕분에 세부 사항의 정밀도가 향상되었다.
• 모서리 길이 정규화 손실(L_edge, λ_edge = 0.2)은 예측된 특징선의 진동형 아티팩트를 효과적으로 감소시키면서도 실제값 윤곽선과의 일치를 유지했다.
• 실생활 이미지에 대한 정성적 결과는 모델이 정확한 토폴로지와 기하학적 세부 정보를 갖춘 다양한 의류 스타일을 재구성할 수 있음을 보여주었다.