[논문 리뷰] AnthroNet: Conditional Generation of Humans via Anthropometrics

Francesco Picetti, Shrinath Deshpande외 15명|arXiv (Cornell University)|2023. 09. 07.

Human Pose and Action RecognitionComputer Science인용 수 3

한 줄 요약

AnthroNet는 100,000개의 합성적으로 생성된 자세가 부여된 인간 몸체 메시를 기반으로 엔드 투 엔드로 훈련된 고해상도 3D 인간 몸체 메시를 체형 측정치의 조건에 따라 생성하는 딥 생성 모델이다. 이 모델은 SMPL-X와 AnthroNet 메시 간 정확한 이방향 변환을 가능하게 하며, 학술 연구를 위한 공개적인 합성 데이터 생성기를 제공한다.

ABSTRACT

We present a novel human body model formulated by an extensive set of anthropocentric measurements, which is capable of generating a wide range of human body shapes and poses. The proposed model enables direct modeling of specific human identities through a deep generative architecture, which can produce humans in any arbitrary pose. It is the first of its kind to have been trained end-to-end using only synthetically generated data, which not only provides highly accurate human mesh representations but also allows for precise anthropometry of the body. Moreover, using a highly diverse animation library, we articulated our synthetic humans' body and hands to maximize the diversity of the learnable priors for model training. Our model was trained on a dataset of $100k$ procedurally-generated posed human meshes and their corresponding anthropometric measurements. Our synthetic data generator can be used to generate millions of unique human identities and poses for non-commercial academic research purposes.

연구 동기 및 목표

• 포prehensive한 객관적 체형 측정치에 조건화된 고해상도 표현력 있는 인간 몸체 모델을 개발하는 것.
• 실제 인간 스캔 및 동작 캡처 데이터에 의존하지 않고, 완전히 합성적으로 생성된 데이터로만 훈련함으로써 이를 제거하는 것.
• 기존 모델과의 상호운용성을 위해 SMPL-X와 AnthroNet 메시 간 정확한 이방향 정렬을 가능하게 하는 것.
• 비영리 학술 목적을 위한 공개 가능한 합성 데이터 생성기를 제공하여 다양성과 재현 가능성을 증진하는 것.
• 학습된 회귀기 덕분에 어떤 3D 스캔이나 신체 모델에서도 정확한 체형 측정치 추출을 지원하는 것.

제안 방법

• 100,000개의 절차적으로 생성된 다중 주체, 다중 자세의 3D 인간 몸체 메시와 관련 체형 측정치를 기반으로 엔드 투 엔드로 훈련된 모델.
• 딥 생성 아키텍처가 잠재 벡터 Z와 인코딩된 체형 측정치 A를 디코딩하여 바인드 포즈 메시 X̃b^A로 변환한다.
• 메시 스커닝 및 자세 적용 모듈이 메시를 임의의 원하는 자세 θ로 애니메이션하기 위해 자세별 보정 오프셋 ΔX̃θ^A를 적용한다.
• 훈련 중에 학습된 사전 지식의 다양성을 극대화하기 위해 매우 다양한 애니메이션 라이브러리를 사용한다.
• SMPL-X와 AnthroNet 메시 간 이방향 변환을 가능하게 하는 두 가지 정렬 파이프라인을 구현한다. 이는 기존 모델과의 호환성을 보장한다.
• 실제 스캔이나 다른 모델에서 측정치를 추출할 수 있도록 체형 측정치 회귀기를 훈련시켜 보편적인 측정치 추출을 가능하게 한다.

실험 결과

연구 질문

• RQ1 딥 생성 모델이 체형 측정치만을 조건으로 하여 고해상도 3D 인간 몸체 메시를 생성할 수 있는가?
• RQ2 실제 스캔이나 동작 캡처 데이터 없이도 합성 데이터만으로 정확하고 다양한 인간 몸체 모델링을 얼마나 잘 수행할 수 있는가?
• RQ3 AnthroNet와 SMPL-X 간의 이방향 정렬이 형태와 자세의 정확성을 얼마나 잘 유지하는가?
• RQ4 모델이 임의의 3D 스캔이나 몸체 모델에서 높은 정확도로 체형 측정치를 일반화하여 추출할 수 있는가?
• RQ5 포괄적인 체형 기술자들을 사용할 경우 인간 몸체 형태의 다양성과 정확도 모델링에 어떤 영향을 미치는가?

주요 결과

• AnthroNet는 SMPL-X보다 3배 이상 해상도가 높은 3D 인간 몸체 메시를 생성하며, 체형 입력에 매우 높은 정밀도를 달성한다.
• 모델은 실제 인간 데이터가 전혀 필요 없이 100,000개의 합성적으로 생성된 다양한 자세가 부여된 인간 몸체 메시를 기반으로 엔드 투 엔드로 훈련된다.
• 이방향 정렬 파이프라인을 통해 SMPL-X와 AnthroNet 메시 간 정확한 변환을 가능하게 하여 기존 도구와의 통합을 촉진한다.
• 체형 측정치 회귀기는 메시 전용 校정이 필요 없이 어떤 3D 스캔이나 몸체 모델에서도 30개 이상의 측정치를 정확하게 추출할 수 있다.
• 비영리 학술 목적을 위한 합성 데이터 생성기가 공개되어 있어 향후 연구의 재현 가능성과 다양성을 지원한다.
• HBW 데이터셋에서의 성능 평가 결과, 사전 학습된 이미지 회귀기와 결합했을 때 AnthroNet는 밀리미터 수준의 오차로 경쟁적인 복원 정확도를 달성한다.