[논문 리뷰] HSPACE: Synthetic Parametric Humans Animated in Complex Environments

Eduard Gabriel Băzăvan, Andrei Zanfir외 4명|arXiv (Cornell University)|2021. 12. 23.

Human Pose and Action Recognition인용 수 9

한 줄 요약

HSPACE는 다양한 신체 형태와 운동을 가진 인간을 복잡한 실내 및 실외 환경에서 촬영한 대규모이고 사진처럼 사실적인 합성 데이터셋을 제공하며, GHUM 신체 모델을 통해 실제적인 운동과 완전한 3D 지도 데이터를 제공한다. 이 데이터셋은 약한 지도 학습을 받은 실제 데이터와 결합할 경우, 특히 모델 용량이 증가할수록 3D 인간 자세 및 형태 추정에서 뚜렷한 성능 향상을 이룬다.

ABSTRACT

Advances in the state of the art for 3d human sensing are currently limited by the lack of visual datasets with 3d ground truth, including multiple people, in motion, operating in real-world environments, with complex illumination or occlusion, and potentially observed by a moving camera. Sophisticated scene understanding would require estimating human pose and shape as well as gestures, towards representations that ultimately combine useful metric and behavioral signals with free-viewpoint photo-realistic visualisation capabilities. To sustain progress, we build a large-scale photo-realistic dataset, Human-SPACE (HSPACE), of animated humans placed in complex synthetic indoor and outdoor environments. We combine a hundred diverse individuals of varying ages, gender, proportions, and ethnicity, with hundreds of motions and scenes, as well as parametric variations in body shape (for a total of 1,600 different humans), in order to generate an initial dataset of over 1 million frames. Human animations are obtained by fitting an expressive human body model, GHUM, to single scans of people, followed by novel re-targeting and positioning procedures that support the realistic animation of dressed humans, statistical variation of body proportions, and jointly consistent scene placement of multiple moving people. Assets are generated automatically, at scale, and are compatible with existing real time rendering and game engines. The dataset with evaluation server will be made available for research. Our large-scale analysis of the impact of synthetic data, in connection with real data and weak supervision, underlines the considerable potential for continuing quality improvements and limiting the sim-to-real gap, in this practical setting, in connection with increased model capacity.

연구 동기 및 목표

• 복잡한 환경에서 여러 명의 움직이는 인간을 대상으로 한 대규모, 다양한 종류, 사진처럼 사실적인 3D 데이터셋이 부족한 문제를 해결하기 위해.
• 풍부한 애너테이션을 갖춘 확장 가능한 고해상도 합성 데이터셋을 통해 3D 인간 자세 및 형태 추정에서 시뮬레이션에서 실제 환경으로의 격차를 줄이기 위해.
• 다양한 신체 형태, 운동, 환경 조건에 걸쳐 일반화 가능한 모델의 개발 및 평가를 가능하게 하기 위해.
• 약한 지도 학습과 합성 데이터를 활용한 모델 훈련을 지원하여 실제 벤치마크에서의 성능 향상을 위해.
• 다양하고 충돌이 없는, 그리고 시각적으로 사실적인 인간 애니메이션을 복잡한 환경에서 자동으로 생성할 수 있는 확장 가능한 파이프라인을 제공하기 위해.

제안 방법

• 다양한 복장의 인체 스캔 100개에 대해 매개변수화된 신체 형태 변화를 고려한 GHUM 3D 신체 모델을 피팅하는 것.
• CMU Mocap에서 확보한 100개의 실제 인간 운동 캡처 시퀀스를 활용해 피팅된 GHUM 모델의 운동을 리타겟팅하고 애니메이션 처리하는 것.
• 실제 조명과 가림을 반영한 100개의 합성 실내 및 실외 환경에 다수의 애니메이션 처리된 인간을 자동으로 배치하는 것.
• 고해상도 게임 엔진을 사용해 일관된 카메라 움직임과 다양한 시점으로 4K/HDR 이미지 및 영상을 렌더링하는 것.
• 장면 배치 중 인간 간 및 인간과 환경 간의 충돌을 자동으로 방지하는 기법을 구현하는 것.
• 3D 자세/형태, 인간 세그먼테이션, 신체 부위 위치, 시간적 대응 정보를 포함한 풍부한 애너테이션을 생성하는 것.

실험 결과

연구 질문

• RQ1 완전한 3D 지도 데이터를 갖춘 대규모 합성 데이터가 실제 환경에서 3D 인간 자세 및 형태 추정 성능을 향상시키는가?
• RQ2 약한 지도 학습을 받은 실제 데이터와 결합했을 때 합성 데이터가 시뮬레이션에서 실제 환경으로의 도메인 갭을 줄이는 데 얼마나 효과적인가?
• RQ3 혼합된 합성 및 실제 데이터로 훈련할 경우 모델 용량을 증가시킬수록 성능 향상 정도는 어느 정도인가?
• RQ4 신체 형태, 운동, 환경 복잡도의 다양성이 모델의 일반화 능력과 강건성에 어떤 영향을 미치는가?
• RQ5 자동화되고 확장 가능한 파이프라인이 복잡한 환경에서 고해상도, 충돌이 없는 인간 애니메이션과 정확한 3D 애너테이션을 생성할 수 있는가?

주요 결과

• HSPACE로 훈련한 결과 3D 인간 자세 및 형태 추정 성능이 크게 향상되어 Human3.6M 벤치마크에서 MPJPE-PA가 39.0으로 감소하여 이전 최고 성능(SOTA)을 초월했다.
• HSPACE 데이터로 T-THUNDR 모델을 정제한 결과, 프rotocol P1 하에서 MPJPE-PA는 39.8에서 39.0으로, MPJPE-T는 143.9에서 132.5로 개선되었다.
• HITI(실제 데이터)와 HSPACE(합성 데이터)를 혼합해 훈련한 모델은 성능 향상을 보였으며, 가장 큰 T-THUNDR 모델의 경우 MPJPE-PA가 47로 감소했다.
• HSPACE 테스트 세트에서 모델 용량을 SMALL에서 BIG로 증가시켰을 때 MPJPE-PA가 50에서 47로 향상되어 더 큰 아키텍처의 이점이 입증되었다.
• 완전한 3D 지도 데이터를 갖춘 합성 데이터(S#3D)를 포함할 경우 성능 향상이 뚜렷했으며, 특히 실제 데이터와 약한 지도 학습과 조합했을 때 유의미한 성능 향상이 있었다.
• 이 데이터셋은 HSPACE-TEST 및 HITI-TEST 세트에서 뛰어난 성능을 발휘하여 표준 벤치마크를 넘어서 일반화 능력을 평가하는 데 유용함을 보여주었다.