[논문 리뷰] Accurate 3D Body Shape Regression using Metric and Semantic Attributes

Vasileios Choutas, Lea Müller외 4명|arXiv (Cornell University)|2022. 06. 14.

Human Pose and Action Recognition인용 수 5

한 줄 요약

이 논문은 단일 RGB 이미지에서 신체 체형을 정확하게 회귀하는 딥러닝 모델인 SHAPY를 제안한다. 이 모델은 유저가 제공한 체형 측정치와 커뮤니티에서 수집한 언어적 체형 특성(예: '키가 큰', '배가 돌출한')을 약한 지도 신호로 사용한다. 기존에 고가의 3D 스캔이 필요로 하는 대신, 쉽게 확보할 수 있는 이러한 신호들을 활용함으로써, 새로운 실외 환경 기반 벤치마크(HBW)에서 최신 기술 수준(SOTA)의 성능을 달성한다. 이는 제한된 지도 신호에도 불구하고 기존 방법보다 뚜렷하게 뛰어난 3D 신체 체형 추정 성능을 보여준다.

ABSTRACT

While methods that regress 3D human meshes from images have progressed rapidly, the estimated body shapes often do not capture the true human shape. This is problematic since, for many applications, accurate body shape is as important as pose. The key reason that body shape accuracy lags pose accuracy is the lack of data. While humans can label 2D joints, and these constrain 3D pose, it is not so easy to "label" 3D body shape. Since paired data with images and 3D body shape are rare, we exploit two sources of information: (1) we collect internet images of diverse "fashion" models together with a small set of anthropometric measurements; (2) we collect linguistic shape attributes for a wide range of 3D body meshes and the model images. Taken together, these datasets provide sufficient constraints to infer dense 3D shape. We exploit the anthropometric measurements and linguistic shape attributes in several novel ways to train a neural network, called SHAPY, that regresses 3D human pose and shape from an RGB image. We evaluate SHAPY on public benchmarks, but note that they either lack significant body shape variation, ground-truth shape, or clothing variation. Thus, we collect a new dataset for evaluating 3D human shape estimation, called HBW, containing photos of "Human Bodies in the Wild" for which we have ground-truth 3D body scans. On this new benchmark, SHAPY significantly outperforms state-of-the-art methods on the task of 3D body shape estimation. This is the first demonstration that 3D body shape regression from images can be trained from easy-to-obtain anthropometric measurements and linguistic shape attributes. Our model and data are available at: shapy.is.tue.mpg.de

연구 동기 및 목표

• 3D 인간 체형 추정 모델을 훈련하기 위한 이미지-3D 체형 데이터 쌍의 부족 문제를 해결하기 위해.
• 옷차림과 자세로 인해 신체가 가림으로써 실외 환경에서의 3D 체형 정확도를 향상시키기 위해.
• 체형 측정치와 언어적 특성과 같은 쉽게 확보 가능한 데이터로부터 약한 지도 신호를 활용해 3D 체형 회귀 모델을 훈련할 수 있도록 하기 위해.
• 언어적 체형 특성과 희소 측정치가 전체 3D 스캔을 대체할 수 있음을 입증하기 위해.
• 정확한 3D 스캔이 제공된 실외 환경 이미지 기반의 새로운 벤치마크(HBW)를 설정하여 3D 체형 추정 성능 평가를 가능하게 하기 위해.

제안 방법

• 저자들은 패션 모델의 인터넷 이미지와 관련된 체형 측정치(신장, 가슴둘레, 허리둘레, 엉덩이둘레)를 수집한다.
• 3D 신체 메ッシュ와 관련된 이미지에 대해 커뮤니티 기반 평가자로부터 언어적 체형 특성(예: '키가 큰', '배가 돌출한')을 수집한다.
• RGB 이미지에서 SMPL-X 신체 파라미터를 회귀하기 위해 새로운 신경망인 SHAPY를 개발한다. 이 모델은 체형 측정치와 언어적 특성을 함께 지도 신호로 사용한다.
• 형태와 자세를 동시에 예측하는 다중 작업 학습 설정을 사용하며, 체형 예측은 측정치와 특성 정보로부터 제공되는 약한 신호로 제약을 받는다.
• 언어적 특성에서 3D 체형을 예측하는 별도의 손실 함수(A2S 헤드)를 학습시켜 주요 네트워크의 정규화를 돕는다.
• 실제 이미지에 정확한 3D 신체 스캔이 포함된 새로운 벤치마크 데이터셋 HBW(Human Bodies in the Wild)를 제작하여 평가를 위해 사용한다.

실험 결과

연구 질문

• RQ1 단일 RGB 이미지에서 체형 측정치와 언어적 특성 정보만을 사용해 3D 신체 체형을 정확하게 회귀할 수 있는가?
• RQ2 언어적 체형 특성이 3D 측정치의 진짜 값을 대체할 수 있는 정도는 어느 정도인가?
• RQ3 체형 측정치와 특성 정보와 같은 쉽게 확보 가능한 데이터로부터의 약한 지도 신호가 실외 환경에서의 3D 체형 추정에 최신 기술 수준의 성능을 가능하게 하는가?
• RQ4 다양한 옷차림과 신체 유형을 가진 실제 이미지에서 기존의 최신 기술 수준(SOTA) 방법과 비교해 모델의 성능은 어떠한가?
• RQ5 실제 이미지와 정확한 3D 스캔이 포함된 새로운 벤치마크는 3D 체형 추정 평가에 효과적으로 활용될 수 있는가?

주요 결과

• SHAPY는 HBW 벤치마크에서 최신 기술 수준의 성능을 달성했으며, 테스트 세트에서 P2P 오차가 6.8 mm로 기존 방법보다 뚜렷하게 뛰어난 3D 체형 추정 성능을 보였다.
• 언어적 체형 특성 정보를 사용할 경우, 측정치만을 사용한 모델 대비 신장 및 둘레 예측 오차가 최대 1.0 mm 감소했다.
• 신장 또는 둘레 측정치만을 사용할 경우에도 특성 정보를 추가하면 체형 정확도가 향상됨을 확인해, 특성 정보가 유의미한 체형 인덕티브 바이어스를 제공함을 시사한다.
• 3DPW 데이터셋에서 SHAPY는 PA-MPJPE가 62.6 mm를 기록했으며, 최신 기술 수준의 자세 추정 모델과 경쟁 가능했지만, 가장 뛰어난 성능을 낸 방법들보다 略로 뒤지지는 않았다.
• 모델은 다양한 신체 유형으로 일반화하는 데 성공했지만, 비만도가 높거나 근육질인 사람들의 경우 실패 케이스가 발생하여 현재 SMPL-X 표현 방식의 한계를 드러냈다.
• 제거 실험(ablation study) 결과, 언어적 특성 정보가 진짜 측정치를 효과적으로 대체할 수 있으며, 측정치 전용 기준 모델 대비 성능이 유사하거나 더 뛰어나다는 것이 확인되었다.