[논문 리뷰] Shape-Aware Human Pose and Shape Reconstruction Using Multi-View Images

Junbang Liang, Ming C. Lin|arXiv (Cornell University)|2019. 08. 26.

Human Pose and Action Recognition참고 문헌 50인용 수 13

한 줄 요약

이 논문은 다중 시점 영상에서 SMPL 파라미터를 사용하여 3D 인간 신체 메쉬를 재구성하는 확장성 있고 엔드 투 엔드 딥 러닝 프레임워크를 제안한다. 실제 데이터에서 자세 및 형태 복원 성능을 모두 뛰어나게 하기 위해, 비표준 신체 유형과 느슨한 옷을 입은 경우에도 정확도를 높이기 위해 지도 학습이 가능한 합성 데이터셋(진짜 형태 정보를 제공)을 활용한다.

ABSTRACT

We propose a scalable neural network framework to reconstruct the 3D mesh of a human body from multi-view images, in the subspace of the SMPL model. Use of multi-view images can significantly reduce the projection ambiguity of the problem, increasing the reconstruction accuracy of the 3D human body under clothing. Our experiments show that this method benefits from the synthetic dataset generated from our pipeline since it has good flexibility of variable control and can provide ground-truth for validation. Our method outperforms existing methods on real-world images, especially on shape estimations.

연구 동기 및 목표

• 비표준 신체 유형 또는 옷을 입은 경우에도 정확한 3D 인간 신체 재구성 문제를 해결하기 위해 다중 시점 영상에서의 재구성 정확도 향상.
• 다양한 시점 각도를 활용하여 2D에서 3D로의 재구성에서의 투영 모호성을 줄여 자세 및 형태 추정 성능 향상.
• 실제 데이터셋에서 형태 지도 학습이 부족한 문제를 해결하기 위해 정확한 SMPL 파라미터 지도를 제공하는 대규모 합성 데이터셋을 생성.
• 실루엣 기반 방법이 실패하는 극단적인 체질량지수(BMI) 또는 느슨한 옷을 입은 신체의 형태 추정 정확도 향상.
• 입력 이미지 수에 따라 유연하게 조정 가능한 다중 시점, 다중 단계 신경망을 개발하여 엔드 투 엔드 학습이 가능하고 확장성 있는 프레임워크 구축.

제안 방법

• 다양한 각도에서 촬영한 3~4장의 영상에서 시각적 특징을 융합하여 SMPL 자세 및 형태 파라미터를 추론하는 다중 시점, 다중 단계 딥 뉴럴 네트워크를 활용.
• 형태는 주성분 분석(PCA) 계수로, 자세는 관절 각도로 표현하는 SMPL 모델을 매개변수 기반 3D 신체 사전으로 사용.
• 물리 기반 시뮬레이션 파이프라인을 통해 다양한 신체 유형, 자세, 옷차림을 가진 다중 시점 영상 시퀀스를 포함한 대규모 합성 데이터셋을 생성하며, 이는 진짜 SMPL 파라미터를 제공한다.
• 이 합성 데이터셋을 기반으로 엔드 투 엔드로 학습하여 옷차림의 외관과 기저의 신체 형태 간의 상관관계를 학습함으로써 형태 인식 가능한 재구성 구현.
• 입력 시점 간 동기화 또는 정렬이 완벽하지 않은 경우에도 견고한 성능을 보장하기 위해 오차 보정 메커니즘을 포함.
• 실제 데이터셋으로의 미세조정을 통해 카메라 캘리브레이션 또는 시간적 일관성 없이도 높은 자세 및 형태 추정 정확도 달성.

실험 결과

연구 질문

• RQ1 비표준 신체 유형의 경우에 한해, 단일 시점 방법 대비 다중 시점 영상이 3D 인간 신체 재구성 정확도를 크게 향상시킬 수 있는가?
• RQ2 진짜 SMPL 파라미터를 제공하는 합성 데이터셋이 영상 기반 재구성에서 형태 추정 성능 향상에 얼마나 기여하는가?
• RQ3 딥 러닝 프레임워크가 실루엣 외에 옷의 변형에서 형태 인식 가능한 시각적 특징을 얼마나 잘 포착할 수 있는가?
• RQ4 다중 시점, 다중 단계 네트워크 아키텍처가 기존 최적화 기반 또는 단일 시점 학습 기반 방법보다 자세 및 형태 추정에서 모두 뛰어난 성능을 내는가?
• RQ5 실제 환경의 과제들—예를 들어 가림, 저조도, 비동기적 영상 촬영—에 대해 이 방법은 얼마나 견고한가?

주요 결과

• Human3.6M 벤치마크에서 79.85%의 정확도를 달성하여, 카메라 캘리브레이션 또는 시간 정보 없이도 기존 최고 성능(SOTA) 방법을 능가하는 다중 시점 재구성 성능 확보.
• 실제 테이프 측정 데이터에서 다중 시점 버전은 서있는 자세 시 평균 상대 오차 6.23%, 앉아 있는 자세 시 5.26%로 감소시켜 HMR 및 BodyNet을 크게 능가.
• 비표준 신체 유형 및 느슨한 옷을 입은 경우, 실루엣 기반 방법이 실패하는 상황에서 HMR 대비 형태 추정 정확도를 34.7% 향상.
• 진짜 SMPL 파라미터를 제공하는 합성 데이터셋 덕분에 모델은 형태 인식 특징을 학습할 수 있었으며, 동일 벤치마크에서 45.13%의 Procrustes 보정 오차 기록으로 자세 변화에 대한 강건성 입증.
• 오차 보정 구조와 다중 시점 융합 덕분에 입력 영상가 비동기적 또는 다양한 조명 및 가림 조건에서도 높은 성능 유지.
• 시각적 비교 결과, 특히 실제 영상에서 가슴과 다리 기하학적 구조를 재구성할 때 HMR보다 더 정확하게 신체 형태와 사지 방향을 복원함.