[논문 리뷰] Multi-view Human Pose and Shape Estimation Using Learnable Volumetric Aggregation

Soyong Shin, Eni Halilaj|arXiv (Cornell University)|2020. 11. 26.

Human Pose and Action Recognition참고 문헌 35인용 수 13

한 줄 요약

이 논문은 매개변수 기반 신체 모델(SMPL)을 사용하여 캘리브레이션된 RGB 카메라에서 정확하고 실시간으로 3D 인간 자세 및 형태를 재구성할 수 있는 학습 가능한 부피 집합 방법을 제안한다. 2D 특징을 3D 공간으로 역투영하고 3D 회귀 네트워크를 통해 SMPL 매개변수를 회귀함으로써, 볼륨 기반 대안보다 낮은 계산 비용으로 최신 기술 수준의 정확도를 달성한다.

ABSTRACT

Human pose and shape estimation from RGB images is a highly sought after alternative to marker-based motion capture, which is laborious, requires expensive equipment, and constrains capture to laboratory environments. Monocular vision-based algorithms, however, still suffer from rotational ambiguities and are not ready for translation in healthcare applications, where high accuracy is paramount. While fusion of data from multiple viewpoints could overcome these challenges, current algorithms require further improvement to obtain clinically acceptable accuracies. In this paper, we propose a learnable volumetric aggregation approach to reconstruct 3D human body pose and shape from calibrated multi-view images. We use a parametric representation of the human body, which makes our approach directly applicable to medical applications. Compared to previous approaches, our framework shows higher accuracy and greater promise for real-time prediction, given its cost efficiency.

연구 동기 및 목표

• 단일 시야 방법이 3D 인간 자세 추정에서 발생하는 가림과 자기 모호성 문제를 다루는 데 한계가 있음을 해결하기 위해.
• 임상 적용을 위한 다중 시야 3D 인간 신체 재구성에서 정확도와 계산 효율성을 향상시키기 위해.
• 밀도 있는 볼륨 그리드 대신 압축된 매개변수 기반 표현을 사용하여 실시간 추론을 가능하게 하기 위해.
• 다중 시야 정보를 3D 전역 공간에서 특징 수준에서 융합하는 프레임워크를 개발하여 3D 자세 및 형태 추정 성능을 향상시키기 위해.
• 관절 각도 및 신체 형태와 같은 임상적으로 유의미한 매개변수를 추정함으로써 의료 응용을 지원하기 위해.

제안 방법

• 각 입력 이미지의 특징을 다수의 캘리브레이션된 시야에서 추출하기 위해 2D 백본 네트워크를 사용한다.
• 카메라 내부 및 외부 파라미터를 사용하여 특징을 3D 전역 좌표 공간으로 역투영하여 3D 부피 특징 맵을 형성한다.
• 학습 가능한 부피 집합 메커니즘이 모든 시야의 특징을 하나의 3D 표현으로 융합하며, 공간적 관계를 유지한다.
• 3D 회귀 네트워크가 집합된 3D 특징에서 직접적으로 SMPL 매개변수(신체 형태 및 자세)를 예측한다.
• 매개변수 기반 신체 모델(SMPL)은 희소한 특징에서 효율적인 재구성을 가능하게 하여 모델 복잡성과 메모리 사용량을 감소시킨다.
• 엔드 투 엔드로 훈련되어 다중 시야 데이터셋에서 3D 관절 오차와 형태 재구성 손실을 최소화한다.

실험 결과

연구 질문

• RQ1 학습 가능한 부피 집합이 이전의 다중 시야 방법에 비해 3D 인간 자세 및 형태 추정 정확도를 향상시킬 수 있는가?
• RQ2 볼륨 기반 표현 대신 매개변수 기반 신체 모델을 사용하면 더 빠르고 효율적인 추론이 가능한가?
• RQ3 제안된 방법이 단일 시야 기반 모델보다 자가 가림과 복잡한 신체 자세 구성에서 더 나은 성능을 보일 수 있는가?
• RQ4 3D 공간에서 특징 수준의 융합이 시야별 또는 단계별 추정 방식에 비해 성능 향상에 얼마나 기여하는가?
• RQ5 임상 적용을 위한 실시간 구현 가능성과 계산 효율성 측면에서 이 방법의 성능는 어떠한가?

주요 결과

• 제안된 방법은 Human3.6M 및 MPI-INF-3DHP 데이터셋에서 3D 관절 오차와 형태 재구성 측면에서 최신 기술 수준의 성능를 달성한다.
• 이전의 학습 가능한 삼각측정 방법 [9]에 비해 GPU 메모리 사용량과 추론 시간을 30–50% 감소시켰지만, 더 높은 정확도를 유지한다.
• 추론 속도는 다른 모델 기반 접근 방식과 유사하거나 더 빠르며, 표준 GPU에서 실시간 성능을 달성할 수 있다.
• 정성적 결과에서는 다중 시야 입력이 가림 상황에서 예측 성능을 크게 향상시키며, 사지 위치 오차를 줄인다.
• 자기 가림에 대해 강건한 성능를 보였지만, 신체 접촉이 발생하는 자세에서의 자기 충돌은 여전히 한계로 남아 있다.
• 높은 정확도에도 불구하고 모델은 자가 충돌을 명시적으로 억제하지 않으며, 관절 각도 오차도 보고하지 않아 향후 연구에서 임상적으로 유의미한 지표가 필요함을 시사한다.