[논문 리뷰] 3D Virtual Garment Modeling from RGB Images

Yi Xu, Shanglin Yang외 4명|arXiv (Cornell University)|2019. 07. 31.

3D Shape Modeling and Analysis참고 문헌 40인용 수 4

한 줄 요약

이 논문은 전용 하드웨어나 인간 모델 없이, 앞면과 뒷면의 RGB 이미지 두 장 뿐인 입력으로 3D 텍스처 처리된 가상 의류 모델을 생성하는 새로운 방법을 제안한다. JFNet이라는 다중 작업 딥러닝 네트워크를 사용하여 패션 랜드마크와 의미적 파트 세그멘테이션을 예측하고, 이를 토대로 템플릿 메쉬의 변형과 텍스처 매핑을 유도함으로써, 전자상거래 사진에서 정확하고 확장 가능한 3D 의류 모델링을 가능하게 한다.

ABSTRACT

We present a novel approach that constructs 3D virtual garment models from photos. Unlike previous methods that require photos of a garment on a human model or a mannequin, our approach can work with various states of the garment: on a model, on a mannequin, or on a flat surface. To construct a complete 3D virtual model, our approach only requires two images as input, one front view and one back view. We first apply a multi-task learning network called JFNet that jointly predicts fashion landmarks and parses a garment image into semantic parts. The predicted landmarks are used for estimating sizing information of the garment. Then, a template garment mesh is deformed based on the sizing information to generate the final 3D model. The semantic parts are utilized for extracting color textures from input images. The results of our approach can be used in various Virtual Reality and Mixed Reality applications.

연구 동기 및 목표

• 전자상거래 사이트에서 쉽게 확보할 수 있는 제품 사진을 바탕으로 전용 촬영 설정이나 인간 모델 없이도 3D 가상 의류 모델링을 가능하게 하기 위해.
• 패션 및 VR/AR 응용 분야에서 기존 3D 의류 모델링의 높은 비용과 복잡성을 해결하기 위해.
• 모델에 입혀진 상태, 마네킨에 올려진 상태 또는 평평한 표면에 놓인 상태와 같은 다양한 의류 상태에서도 두 장의 입력 이미지만으로도 작동하는 방법을 개발하기 위해.
• 의미적 파싱과 크기 추정을 활용해 가상 시도 및 디지털 패션과 같은 응용 분야를 위한 확장 가능하고 저비용의 3D 의류 모델링을 지원하기 위해.

제안 방법

• 패션 랜드마크 예측과 의류 이미지의 의미적 파트 세그멘테이션을 동시에 수행할 수 있도록 훈련된 다중 작업 학습 네트워크인 JFNet을 사용한다.
• 랜드마크 예측 결과를 바탕으로 주요 의류 치수(예: 소매 길이, 가슴 너비 등)를 추정하고, 이를 3D 템플릿 메쉬의 변형을 유도하는 데 활용한다.
• 의미적 파트 세그멘테이션을 통해 2D 이미지의 파트를 2D 기준 텍스처에 매핑함으로써 정밀한 텍스처 추출이 가능해지며, 이는 3D 모델에 대한 텍스처 매핑에 기여한다.
• 추정된 치수 정보를 기반으로 3D 템플릿 메쉬를 변형하여 입력 의류의 비율에 맞추게 된다.
• 세그멘테이션된 파트에서 추출한 텍스처를 변형된 3D 메쉬에 투영하여 완전히 텍스처 처리된 3D 의류 모델을 생성한다.
• 앞면-뒷면 대칭을 가정할 경우 단일 이미지 입력도 지원하여, 최소한의 입력으로도 실용성을 높인다.

실험 결과

연구 질문

• RQ1 모델에 입혀진 상태, 마네킨에 올려진 상태 또는 평평한 표면에 놓인 상태의 의류에 대해, 두 장의 RGB 이미지만으로도 3D 가상 의류를 정확히 재구성할 수 있는가?
• RQ2 단일 딥러닝 모델이 의류 이미지에서 패션 랜드마크와 의미적 파트 세그멘테이션을 효과적으로 동시에 예측할 수 있는가?
• RQ3 2D 이미지의 랜드마크에서 추정한 치수 정보가 얼마나 정확한가? 이 정보로 3D 템플릿 메쉬를 현실적인 3D 의류로 변형시킬 수 있는가?
• RQ4 세그멘테이션된 파트에서 추출한 텍스처가 최종 3D 모델에 대해 실제로 신뢰할 수 있고 일관성 있는 결과를 낼 수 있는가?
• RQ5 재학습이 필요 없이 다양한 의류 유형(예: 티셔츠, 바지)과 스타일(예: 핏, 길이)에 대해 얼마나 일반화되는가?

주요 결과

• 제안된 JFNet은 상의에 대해 0.725의 mIOU를 기록했고, 바지에 대해서는 0.968로, 기존의 기준 모델인 DeepLabV3+를 초월하는 성능을 보였다.
• 상의의 랜드마크 예측에 대해 평균 오차(NE)가 0.031, 바지에 대해서는 0.022로, 관건점의 정확한 위치 추정이 가능함을 입증했다.
• 3D 모델링 결과는 입력 이미지의 특징(예: 소매 너비, 길이, 핏 등)을 잘 반영한 시각적으로 타당한 의류 모델을 생성하여 효과적인 형태 전달이 이루어졌음을 보여주었다.
• 시스템은 인간에게 입혀지지 않은 의류(예: 평평한 상태 또는 마네킨에 올려진 상태)에서도 두 장의 이미지로도 완전한 3D 텍스처 처리된 모델을 성공적으로 생성하였다.
• 소스와 타겟 윤곽이 크게 다를 경우 일부 국소 변형이 발생할 수는 있으나, 텍스처 매핑에 있어 최소한의 왜곡을 유지하였다.
• 대칭을 가정할 경우 단일 이미지 입력도 지원되어, 실생활 전자상거래 사진 세트의 유연성을 높였다.