[논문 리뷰] Learning Anthropometry from Rendered Humans

Song Yan, Joni‐Kristian Kämäräinen|arXiv (Cornell University)|2021. 01. 07.

3D Shape Modeling and Analysis참고 문헌 42인용 수 11

한 줄 요약

이 논문은 3D 복원을 거치지 않고 2D RGB 이미지에서 직접 체형 측정치를 추정하기 위한 딥러닝 프레임워크를 제안한다. 새로운 4,149개의 3D 신체 스캔 데이터셋과 200명의 실세계 주제에 대한 테이프 측정 기준값이 있는 실세계 RGB 데이터셋을 도입하여, 파트 기반 형태 모델과 회귀 기반 신경망을 사용해 측정치 추정 및 형태 복원에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Accurate estimation of anthropometric body measurements from RGB images has many potential applications in industrial design, online clothing, medical diagnosis and ergonomics. Research on this topic is limited by the fact that there exist only generated datasets which are based on fitting a 3D body mesh to 3D body scans in the commercial CAESAR dataset. For 2D only silhouettes are generated. To circumvent the data bottleneck, we introduce a new 3D scan dataset of 2,675 female and 1,474 male scans. We also introduce a small dataset of 200 RGB images and tape measured ground truth. With the help of the two new datasets we propose a part-based shape model and a deep neural network for estimating anthropometric measurements from 2D images. All data will be made publicly available.

연구 동기 및 목표

• 비디오 기반 체형 측정 모델을 훈련하고 평가하기 위해 공개된 실 RGB 데이터셋이 부족한 문제를 해결하기 위해.
• 중간 단계로 3D 신체 메esh 복원이 필요 없이 단일 RGB 이미지에서 34개의 신체 측정치를 정확하게 추정하기 위해.
• 전반적인 PCA 기반 모델보다 국소 신체 부위의 변형을 더 효과적으로 포착할 수 있는 파트 기반 형태 모델을 개발하기 위해.
• 합성 훈련 데이터와 실세계 응용 간의 도메인 갭을 도메인 적응 기법을 통해 줄이기 위해.
• 공개용으로 4,149개의 3D 스캔과 200개의 실 RGB 이미지(테이프 측정 기준값 포함)로 구성된 두 가지 새로운 데이터셋을 제공하기 위해.

제안 방법

• 저자는 여성 2,675명과 남성 1,474명의 3D 신체 스캔 데이터셋을 새로이 도입하였으며, 이는 무늬가 있는 신체 메쉬에 맞춰진 것이다.
• 일관된 렌더링 조건을 사용해 3D 스캔에서 합성 RGB 이미지를 생성하여, 이미지에서 측정치로 직접 회귀하는 데 사용할 딥 네트워크를 훈련시켰다.
• 신체 부위(예: 상체, 골반 등)에 대해 주성분 분석(PCA)을 적용하여 국소 형태 변동을 더 잘 포착할 수 있도록 파트 기반 형태 모델을 구축하였다.
• 딥 컨volution 신경망을 사용해 2D 이미지 특징을 그대로 34개의 체형 측정치로 회귀하는 네트워크 아키텍처를 설계하였다.
• 예측된 측정치를 바탕으로 파트 기반 모델의 형태 계수에 대한 학습된 선형 매핑을 통해 신체 형태를 복원하였다.
• 실세계 200장의 이미지 데이터셋을 기반으로 비선형 회귀기를 훈련시켜 합성 데이터에서의 예측을 실세계 데이터에 적응시켜 도메인 일반화 성능을 향상시켰다.

실험 결과

연구 질문

• RQ1 렌더링된 합성 이미지로 훈련된 딥 네트워크가 실 RGB 이미지에서 체형 측정치를 높은 정확도로 추정할 수 있는가?
• RQ2 파생 기반 형태 모델이 전반적인 PCA 기반 모델보다 국소 신체 형태 변동을 얼마나 더 효과적으로 포착하는가?
• RQ3 실세계 데이터로 미세조정된 합성 훈련 데이터가 실세계 측정치 추정에 얼마나 잘 일반화되는가?
• RQ4 실세계 응용에서 3D 스캔에서 자가 정의한 측정치와 테이프 측정 기준값 사이의 성능 격차는 어느 정도인가?
• RQ5 3D 메쉬 복원을 먼저 수행하는 방법보다 이미지에서 측정치로 직접 회귀하는 접근 방식이 성능 면에서 더 우수한가?

주요 결과

• RGB 이미지를 사용해 XXX-fits 데이터셋에서 평가했을 때, 제안된 방법은 머리둘레에 대해 평균 절대 오차(MAE) 23.1 mm, 목둘레에 대해 15.4 mm를 기록하여 최신 기술 수준의 성능을 달성했다.
• CAESAR-fits 데이터셋에서의 평가 결과, 머리둘레에 대해 MAE 10.7 mm, 목둘레에 대해 12.1 mm를 기록하여 이전에 실루엣 기반 방법을 사용한 모델들을 능가했다.
• 렌더링된 이미지로 훈련된 네트워크는 실세계 이미지로의 일반화 성능이 뛰어나, XXX-real-200 데이터셋에서 총 신장에 대해 MAE 29.8 mm를 기록했으며, 도메인 시프트가 존재하더라도 경쟁 가능한 성능을 보였다.
• 파생 기반 형태 모델은 전반적인 PCA 모델보다 재구성 오차를 감소시켰으며, 특히 팔뚝(13.0 mm MAE)과 전완(8.9 mm MAE)과 같은 국소 측정치에서 유의미한 향상이 있었다.
• 실세계 200장의 이미지 데이터셋에 비선형 회귀기를 적용함으로써 도메인 갭이 줄어들었고, 실세계 데이터에서의 성능 향상이 있었지만 산업적 응용을 위해선 추가 적응이 필요하다.
• 저자는 4,149개의 3D 스캔과 200개의 실 RGB 이미지(테이프 측정 기준값 포함)로 구성된 공개 가능한 첫 번째 데이터셋을 제공하여 향후 비디오 기반 체형 측정 연구를 가능하게 하였다.