[논문 리뷰] Benchmarking and Analyzing 3D Human Pose and Shape Estimation Beyond Algorithms

Hui En Pang, Zhongang Cai외 3명|arXiv (Cornell University)|2022. 09. 21.

Human Pose and Action Recognition인용 수 8

한 줄 요약

이 논문은 알고리즘 설계를 초월하여 3D 인간 자세 및 형태 추정에 대한 종합적인 벤치마킹 연구를 제시한다. 데이터셋, 백본, 학습 전략을 평가한다. 데이터 선택을 최적화하고, 강력한 사전 훈련된 백본(예: Twins-SVT)을 사용하며, 데이터 증강과 함께 L1 손실을 적용함으로써 저자들은 3DPW에서 PA-MPJPE 47.3 mm를 달성한다—보다 단순한 아키텍처로도 최신 기술을 초월하며, 향후 연구를 위한 강력하고 공정한 기준을 설정한다.

ABSTRACT

3D human pose and shape estimation (a.k.a. "human mesh recovery") has achieved substantial progress. Researchers mainly focus on the development of novel algorithms, while less attention has been paid to other critical factors involved. This could lead to less optimal baselines, hindering the fair and faithful evaluations of newly designed methodologies. To address this problem, this work presents the first comprehensive benchmarking study from three under-explored perspectives beyond algorithms. 1) Datasets. An analysis on 31 datasets reveals the distinct impacts of data samples: datasets featuring critical attributes (i.e. diverse poses, shapes, camera characteristics, backbone features) are more effective. Strategical selection and combination of high-quality datasets can yield a significant boost to the model performance. 2) Backbones. Experiments with 10 backbones, ranging from CNNs to transformers, show the knowledge learnt from a proximity task is readily transferable to human mesh recovery. 3) Training strategies. Proper augmentation techniques and loss designs are crucial. With the above findings, we achieve a PA-MPJPE of 47.3 mm on the 3DPW test set with a relatively simple model. More importantly, we provide strong baselines for fair comparisons of algorithms, and recommendations for building effective training configurations in the future. Codebase is available at http://github.com/smplbody/hmr-benchmarks

연구 동기 및 목표

• 3D 인간 메쉬 복원에서 알고리즘 외 요소(예: 데이터셋 선택, 백본 선택, 학습 전략)에 대한 체계적 평가 부족을 해결하기 위해.
• 데이터 다양성(자세, 체형, 카메라 시야각, 기능)이 모델 성능에 미치는 영향을 분석하고 최적의 데이터셋 조합을 제안하기 위해.
• 관련 작업(예: 2D 자세 추정)에서 사전 훈련하고 강력한 백본(예: 비전 트랜스포머)을 사용할 경우 성능 향상이 크게 이루어짐을 입증하기 위해.
• HMR 및 기타 모델을 위한 최적화된 구성으로 강력하고 공정한 기준을 설정하여 신규 알고리즘 간 신뢰할 수 있는 비교를 가능하게 하기 위해.
• 재현성과 향후 3D 인간 메쉬 복원 모델의 벤치마킹를 지원하기 위해 공개 코드베이스를 제공하기 위해.

제안 방법

• 31개의 다양한 데이터셋을 평가하여, UMAP를 통한 기능 분포 분석과 3DPW에서의 성능를 통해 그 영향을 분석한다.
• CNNs(ResNet, HRNet)와 비전 트랜스포머(Twins-SVT)를 포함한 10개의 백본을 벤치마킹하며, 자세 추정 모델에서의 사전 훈련에 대한 분석도 수행한다.
• 다양한 데이터 증강 기법과 손실 함수를 비교하여, 노이즈 감소와 일반화 향상 측면에서 L1 손실이 혼합 손실보다 더 효과적임을 발견한다.
• HMR, PARE, SPIN, GraphCMR, MeshGraphormer 등 여러 알고리즘에 대해 최적화된 구성으로 광범위한 분석 실험을 수행한다.
• 훈련 데이터셋과 3DPW 테스트 세트 간의 분포 이탈을 평가하기 위해 특징 공간 분석(자세, 체형, 카메라, 백본 특징)을 수행한다.
• 재현성 보장과 향후 최적의 구성으로 벤치마킹을 촉진하기 위해 공개 코드베이스를 배포한다.

실험 결과

연구 질문

• RQ1 다양한 데이터셋이 3D 인간 메쉬 복원 성능에 어떤 영향을 미치며, 자세 다양성, 체형 변화, 카메라 특성 등의 특성 중 어떤 것이 데이터셋의 효과를 높이는가?
• RQ2 2D 자세 추정과 같은 관련 작업에서의 지식을 사전 훈련을 통해 얼마나 효과적으로 전이시킬 수 있는가?
• RQ3 노이즈 최소화와 일반화 향상을 위한 최적의 데이터 증강 및 손실 함수 조합은 무엇인가?
• RQ4 최적의 데이터셋, 백본, 학습 전략 조합을 사용할 경우 단순한 모델이 최신 기술 성능을 달성할 수 있는가?
• RQ5 훈련 데이터와 3DPW 간 자세, 체형, 카메라, 백본 특징의 분포 이탈은 모델 일반화에 어떤 영향을 미치는가?

주요 결과

• 특히 다양한 자세, 체형, 카메라 시야각을 포함한 고품질 데이터셋 조합을 사용할 경우 성능 향상이 뚜렷하게 나타나며, MuCo-3DHP가 MPI-INF-3DHP보다 분포 이탈을 줄이는 데 효과적이다.
• 강력한 2D 자세 추정 모델에서 사전 훈련을 수행하면 백본 품질이 크게 향상되며, Twins-SVT와 HRNet-W32는 이 방식으로 초기화할 경우 뛰어난 성능을 기록한다.
• L1 손실이 혼합 손실보다 노이즈 감소와 일반화 향상 측면에서 뛰어나며, 특히 데이터 증강과 조합할 경우 더욱 효과적이다.
• 최고의 성능을 기록한 모델은 최적화된 데이터 믹스와 학습 전략을 사용한 단순한 HMR 기반 아키텍처로 3DPW 테스트 세트에서 PA-MPJPE 47.3 mm를 달성한다.
• 이 연구는 HMR 및 기타 알고리즘에 대해 다양한 데이터셋과 백본에서 강력하고 공정한 기준을 설정하였으며, 이전 연구 대비 PA-MPJPE에서 최대 10–15 mm의 성능 향상을 기록하였다.
• 특징 분포 분석을 통해 Instavariety, COCO, AGORA와 같은 데이터셋은 더 다양하고 이식 가능한 특징 표현을 가지며, 3DPW로의 도메인 이탈을 줄이는 데 기여한다.