[논문 리뷰] Detailed, accurate, human shape estimation from clothed 3D scan sequences

Chao Zhang, Sergi Pujades외 2명|arXiv (Cornell University)|2017. 03. 13.

3D Shape Modeling and Analysis참고 문헌 46인용 수 23

한 줄 요약

이 논문은 옷을 입은 3D 스캔 시퀀스에서 직접 캐논컬 T자세 템플릿의 정점들을 최적화하여 세밀하고 개인화된 인간 신체 자세를 추정하는 새로운 방법을 제안한다. 이 방법은 시간적 일관성과 천을 신체 외부에 놓고 노출된 피부에 밀착되도록 강력한 목적 함수를 활용한다. 제안된 방법은 자세 및 신체 형상 추정에서 최신 기술을 능가하며, 공개된 고성능 4D 데이터셋(BUFF)에서 평균 정합 오차가 3mm 미만임을 달성하였다.

ABSTRACT

We address the problem of estimating human pose and body shape from 3D scans over time. Reliable estimation of 3D body shape is necessary for many applications including virtual try-on, health monitoring, and avatar creation for virtual reality. Scanning bodies in minimal clothing, however, presents a practical barrier to these applications. We address this problem by estimating body shape under clothing from a sequence of 3D scans. Previous methods that have exploited body models produce smooth shapes lacking personalized details. We contribute a new approach to recover a personalized shape of the person. The estimated shape deviates from a parametric model to fit the 3D scans. We demonstrate the method using high quality 4D data as well as sequences of visual hulls extracted from multi-view images. We also make available BUFF, a new 4D dataset that enables quantitative evaluation (http://buff.is.tue.mpg.de). Our method outperforms the state of the art in both pose estimation and shape estimation, qualitatively and quantitatively.

연구 동기 및 목표

• 옷을 입은 사람의 3D 스캔 시퀀스에서 세밀하고 최소한의 옷을 입은 인간 신체 형상을 추정하는 문제를 해결하기 위해.
• 통계적 신체 모델이 너무 매끄러운 형상을 생성하고 얼굴 특징 같은 국소적 신체 정체성 정보를 포착하지 못하는 한계를 극복하기 위해.
• 최소한의 옷을 입고 스캔하는 것이 불가능한 가상의 옷 입히기, 건강 모니터링, 아바타 생성 등의 애플리케이션에서 정확한 자세 및 형상 추정을 가능하게 하기 위해.
• 다수의 자세를 포함한 스캔 시퀀스에서의 다중 자세 제약을 활용하여 옷에 의한 가림 현상에 강건한 방법을 개발하기 위해.
• 정량적 평가를 위한 공개 가능한 고해상도 4D 데이터셋(BUFF)을 제공하기 위해.

제안 방법

• 통계적 신체 모델의 매개변수 조정만을 사용하는 것이 아니라, 캐논컬 T자세 템플릿의 6,890개 정점들을 직접 최적화하여 국소적 형상 세부 정보를 포착한다.
• 프레임 단위로 단일 프레임 목적 함수를 최소화하며, 다음 조건을 강제한다: (i) 천 정점들이 추정된 신체 형상 외부에 위치하도록, (ii) 노출된 피부 부위에 밀착되도록, (iii) 강력한 함수를 사용해 근처의 천 정점에 견고하게 부착되도록.
• 최적화된 정점들이 통계적 형상 사전에 가까워지도록 보장하기 위해 SMPL을 정규화 요소로 사용하여 인간형 타당성을 유지한다.
• 시간 정보를 활용하기 위해 먼저 모든 스캔을 특수한 목적 함수를 사용해 공통의 자세 없는 공간에 정렬하여, 모든 점을 피부로 간주함으로써 '융합 스캔'을 형성한다.
• 그 후 융합 스캔을 사용해 전체 목적 함수를 최소화하여 '융합 형상'을 계산하며, 이는 강력하고 글로벌한 형상 사전로 기능한다.
• 마지막으로 융합 형상을 정규화 요소로 사용하여 동일한 목적 함수를 시퀀스 전반에 걸쳐 최적화함으로써 자세 및 시간에 따라 변하는 형상 세부 정보를 정밀하게 보정한다.

실험 결과

연구 질문

• RQ1 옷을 입은 사람의 3D 스캔 시퀀스에서 파arametric 모델 최적화에 의존하지 않고도 세밀하고 개인화된 인간 신체 형상을 정확하게 추정할 수 있는가?
• RQ2 정점 기반 최적화 접근법이 얼굴 특징 및 신체 윤곽과 같은 세밀한 신체 정체성 정보를 포착하는 데 기존의 통계적 신체 모델 방법보다 뛰어난 성능을 보일 수 있는가?
• RQ3 옷이 신체의 상당 부분을 가리키는 상황에서 제안된 방법이 정확한 자세와 형상을 복원하는 데 얼마나 효과적인가?
• RQ4 단일 프레임 방법에 비해 다수의 자세를 융합함으로써 형상 추정 정확도가 얼마나 향상되는가?
• RQ5 불완전한 피부/천 분할(예: 다중 시점 이미지에서의 시각 허브)을 가진 실세계 데이터에 대해 이 방법이 일반화 가능한가?

주요 결과

• 정확한 피부/천 분할이 가능한 경우, 제안된 방법은 BUFF 데이터셋에서 평균 정합 오차 약 2.5mm를 달성하여 이전 최고 기술을 크게 능가한다.
• 피부 분할 없이 '모든 천'로 레이블링된 스캔에서도 평균 오차 약 3mm를 기록하여 분할 오차에 대해 강건함을 입증한다.
• 정성적 결과에서는 특히 댄서 시퀀스에서 팔꿈치와 어깨와 같은 복잡한 신체 부위의 추정 성능이 이전 방법보다 뛰어나다.
• 융합 형상가 전체 신체 형상을 정확히 복원하는 데에 기여하고, 세부 형상은 얼굴 세부 정보와 신체 윤곽과 같은 국소적 특징을 포착하여 진짜 값에 더 가깝게 보인다.
• 제안된 방법은 INRIA 데이터셋과 새로 도입된 BUFF 데이터셋 모두에서 정량적·정성적으로 최신 기술을 능가한다.
• 공개된 BUFF 데이터셋은 6명의 피험자(남성 3명, 여성 3명)의 다양한 옷 스타일을 착용한 고해상도 3D 스캔 총 11,054개와 최소한의 옷을 입은 진짜 신체 형상의 진짜 값을 포함하고 있어 정량적 평가에 엄격한 기준을 제공한다.