[논문 리뷰] Geometric Pose Affordance: 3D Human Pose with Scene Constraints

Zhe Wang, Liyan Chen외 3명|arXiv (Cornell University)|2019. 05. 19.

Human Pose and Action Recognition참고 문헌 39인용 수 41

한 줄 요약

이 연구는 Geometric Pose Affordance (GPA)를 도입합니다. 데이터셋과 방법은 장면 기하학의 다층 깊이 맵을 사용해 단일 카메라 3D 인간 포즈 추정을 제약하고, 가려짐과 복잡한 장면에서 정확도를 향상시킵니다. 두 가지 통합 접근 방식—geometry-encoded inputs와 differentiable geometric-consistency loss—를 제시하고, scene-agnostic baselines 대비 향상을 시연합니다.

ABSTRACT

Full 3D estimation of human pose from a single image remains a challenging task despite many recent advances. In this paper, we explore the hypothesis that strong prior information about scene geometry can be used to improve pose estimation accuracy. To tackle this question empirically, we have assembled a novel $ extbf{Geometric Pose Affordance}$ dataset, consisting of multi-view imagery of people interacting with a variety of rich 3D environments. We utilized a commercial motion capture system to collect gold-standard estimates of pose and construct accurate geometric 3D CAD models of the scene itself. To inject prior knowledge of scene constraints into existing frameworks for pose estimation from images, we introduce a novel, view-based representation of scene geometry, a $ extbf{multi-layer depth map}$, which employs multi-hit ray tracing to concisely encode multiple surface entry and exit points along each camera view ray direction. We propose two different mechanisms for integrating multi-layer depth information pose estimation: input as encoded ray features used in lifting 2D pose to full 3D, and secondly as a differentiable loss that encourages learned models to favor geometrically consistent pose estimates. We show experimentally that these techniques can improve the accuracy of 3D pose estimates, particularly in the presence of occlusion and complex scene geometry.

연구 동기 및 목표

• 강한 장면 기하 Priors가 단일 이미지에서 3D 인간 포즈 추정을 개선할 수 있는지 동기를 부여한다.
• 포즈–장면 상호 작용 연구를 위한 풍부한 Ground-truth 포즈 및 장면 기하학을 갖춘 GPA 데이터셋을 생성하고 공개한다.
• CNN 기반 포즈 모델에 효율적으로 통합하기 위한 장면 기하학의 compact 다층 깊이 맵 표현을 제시한다.
• 포즈 추정에 기하학을 포함시키는 두 가지 메커니즘: 입력 특징으로 인코딩된 장면 기하학과 기하학적 일관성 손실을 제시한다.
• 가려짐과 복잡한 장면 기하학에서 특히 scene-agnostic baseline 대비 포즈 추정 정확도 향상을 입증한다.

제안 방법

• Crop된 영상에서 2D 관절 히트맵과 3D 포즈를 위한 깊이를 예측하는 ResNet-50 백본을 채택한다.
• 각 카메라 뷰마다 관찰된 표면 교차를 포착하기 위해 다층 깊이 맵을 계산하고 각 뷰 광선에 따라 이를 인코딩한다.
• 광선 경로를 따라 장면 기하학을 침투하는 포즈 예측을 페널티하는 기하학적 일관성 손실을 도입한다.
• 다층 깊이를 입력 특징으로 사용하기 위한 두 가지 인코딩 스킴: 뷰 중심의 크롭 깊이 맵과 루트 주변의 체적 인코딩.
• 훈련은 단계적으로 진행: 2D 포즈 모듈, 그다음 3D 깊이 회귀, 마지막으로 기하학-인식 컴포넌트를 모델에 추가.
• 단순 리프팅 모델 및 PoseNet 스타일 적분 회귀를 포함한 기준선과 비교 평가한다.

실험 결과

연구 질문

• RQ1 명시적 장면 기하 priors가 혼잡하거나 가려진 환경에서 단일 이미지의 3D 인간 포즈 추정을 개선할 수 있는가?
• RQ2 다층 깊이 표현을 어떻게 활용해 각 관절의 깊이를 제약하되 계산 비용이 과도하지 않도록 할 수 있는가?
• RQ3 기하학 인코딩 입력과 미분 가능 기하학적 손실이 scene-agnostic 포즈 모델 대비 측정 가능한 정확도 향상을 가져오는가?
• RQ4 GPA 데이터셋이 인간-장면 절충과 가려짐 및 근접 기하학 상황에서 포즈 추정을 어떻게 개선하는지 연구하는 데 어떻게 도움을 주는가?

주요 결과

• 자세한 장면 기하학을 포함한 ground-truth 3D 포즈와 상세한 장면 기하학을 갖춘 새로운 GPA 데이터셋이 기하학 인식 포즈 추정을 위한 연구를 지원하기 위해 공개된다.
• 인코딩된 다층 깊이 입력과 기하학적 일관성 손실의 두 가지 기하 통합 접근 방식이 scene-agnostic 기준선 대비 3D 포즈 추정을 향상시킨다.
• 가려짐이 존재하고 기하학이 복잡한 장면에서 가장 큰 이득이 관찰되어 장면 제약의 유용성을 확인한다.
• 다층 깊이 표현이 장면 기하학을 효율적으로 인코딩하며 추가 CNN 입력 채널로 통합되거나 예측 깊이를 제약하는 데 사용될 수 있다.