[논문 리뷰] Im2Fit: Fast 3D Model Fitting and Anthropometrics using Single Consumer Depth Camera and Synthetic Data

Qiaosong Wang, Vignesh Jagadeesh외 2명|arXiv (Cornell University)|2014. 10. 03.

3D Shape Modeling and Analysis참고 문헌 14인용 수 4

한 줄 요약

Im2Fit는 단일 소비자용 깊이 카메라와 합성 데이터를 사용하여 실시간으로 빠른 3D 인간 신체 피팅 및 체형 측정을 위한 시스템을 제안한다. 관절 주변의 국소 기하 특징과 함께 추정된 신체 측정치를 조합하여, 대규모 합성 3D 신체 모델 데이터셋에서 효율적인 최근접 이웃 검색을 수행하여 평균 1.9 cm 이내의 정확도로 완전히 매개변수화된 메쉬 모델을 추출한다.

ABSTRACT

Recent advances in consumer depth sensors have created many opportunities for human body measurement and modeling. Estimation of 3D body shape is particularly useful for fashion e-commerce applications such as virtual try-on or fit personalization. In this paper, we propose a method for capturing accurate human body shape and anthropometrics from a single consumer grade depth sensor. We first generate a large dataset of synthetic 3D human body models using real-world body size distributions. Next, we estimate key body measurements from a single monocular depth image. We combine body measurement estimates with local geometry features around key joint positions to form a robust multi-dimensional feature vector. This allows us to conduct a fast nearest-neighbor search to every sample in the dataset and return the closest one. Compared to existing methods, our approach is able to predict accurate full body parameters from a partial view using measurement parameters learned from the synthetic dataset. Furthermore, our system is capable of generating 3D human mesh models in real-time, which is significantly faster than methods which attempt to model shape and pose deformations. To validate the efficiency and applicability of our system, we collected a dataset that contains frontal and back scans of 83 clothed people with ground truth height and weight. Experiments on real-world dataset show that the proposed method can achieve real-time performance with competing results achieving an average error of 1.9 cm in estimated measurements.

연구 동기 및 목표

• 단일 소비자용 깊이 카메라만을 사용하여 정확한 3D 인간 신체 모델링 및 체형 측정을 가능하게 하기 위해.
• 다중 카메라 레지스트리나 LiDAR와 같은 고비용, 두꺼운, 복잡한 시스템의 한계를 극복하기 위해.
• 실세계 인간 신체 데이터셋을 수집함에 따른 비용과 프라이버시 문제를 줄이기 위해 합성 데이터를 사용하기 위해.
• 가상 피팅 및 전자상거래에서 의류 사이즈 추천과 같은 실용적 응용을 위해 실시간 성능를 달성하기 위해.
• 일상 환경(예: 거실)에서도 간편하고 사용자 友好的하게 배치할 수 있는 시스템을 제공하기 위해.

제안 방법

• 국가 인구 조사 및 NHANES 데이터에서 얻은 실제 신체 치수 분포를 기반으로 합성 3D 인간 신체 모델을 생성하여 다양한 연령 및 성별 그룹을 커버한다.
• OpenNI에서 추출한 관절 위치 데이터를 활용해 단일 전면 시야 깊이 영상에서 핵심 신체 치수(예: 키, 체중)를 추정한다.
• 핵심 관절 위치(예: 어깨, 힙) 주변에서 국소 기하 특징을 추출하여 측정 추정치를 보완한다.
• 신체 치수와 국소 기하 특징을 조합하여 다차원 특징 벡터를 형성함으로써 강력한 표현을 확보한다.
• 전체 합성 데이터셋에 대해 빠른 최근접 이웃 검색을 수행하여 가장 유사한 3D 신체 모델을 검색한다.
• 검색된 모델은 완전히 뼈대화되고 매개변수화되어 실시간으로 3D 메쉬, 레이블링된 신체 부위, 그리고 현실적인 주름이 구현된 의복 피팅을 가능하게 한다.

실험 결과

연구 질문

• RQ1 다중 시야 또는 고해상도 스캔이 필요 없이 단일 소비자용 깊이 카메라로 핵심 체형 측정치를 정확하게 추정할 수 있는가?
• RQ2 실세계 인구 분포를 기반으로 학습한 합성 3D 신체 모델이 실제 신체 형태에 효과적으로 일반화되어 정확한 피팅을 가능하게 하는가?
• RQ3 대규모 합성 데이터셋에서의 최근접 이웃 검색이 학습 기반 또는 최적화 기반 방법보다 속도와 정확도 면에서 뛰어나게 작용할 수 있는가?
• RQ4 단순한 기하 특징과 사전 계산된 데이터셋만을 사용하여 실시간 3D 신체 메쉬 생성 및 의복 피팅을 달성할 수 있는가?
• RQ5 기존 방법들과 비교해 시스템의 측정 정확도와 계산 효율성은 어떠한가?

주요 결과

• 시스템은 실시간 성능를 달성하여 단일 깊이 카메라만으로도 신속한 3D 메쉬 생성 및 피팅이 가능하다.
• 실세계 83명의 옷을 입은 개인으로 구성된 데이터셋에서 실제 키와 체중를 기준으로 측정된 평균 오차가 1.9 cm이다.
• 합성 데이터와 특징 기반 매칭을 활용하여 부분적인 전면 시야에서 정확한 3D 신체 모델을 성공적으로 검색한다.
• 합성 데이터의 사용은 프라이버시나 데이터 수집 제약 없이도 다양한 신체 형태의 변형을 광범위하게 표현할 수 있도록 한다.
• 반복 최적화를 통한 형태와 자세의 변형을 모델링하는 기존 방법들보다 훨씬 빠른 성능를 보인다.
• 가상 피팅 및 의류 사이즈 추천과 같은 실용적 응용을 위해 현실적이고 애니메이션 처리된 3D 아바타를 생성할 수 있다.