[논문 리뷰] Coarse-to-Fine Volumetric Prediction for Single-Image 3D Human Pose

Georgios Pavlakos, Xiaowei Zhou외 2명|arXiv (Cornell University)|2016. 11. 23.

Human Pose and Action Recognition참고 문헌 41인용 수 15

한 줄 요약

이 논문은 단일 이미지 3D 인간 자세 추정을 위한 코arse-to-fine 볼륨트릭 예측 프레임워크를 제안한다. ConvNet을 사용하여 주제 주변의 이산화된 3D 공간에서 각 볼륨에 대한 가능도를 예측한다. 깊이 차원에서 해상도를 점진적으로 증가시키는 반복적 보완을 통해, 표준 벤치마크에서 기존의 엔드 투 엔드 및 두 단계 접근 방식을 능가하는 30퍼센트 이상의 상대 오차 감소를 달성한다.

ABSTRACT

This paper addresses the challenge of 3D human pose estimation from a single color image. Despite the general success of the end-to-end learning paradigm, top performing approaches employ a two-step solution consisting of a Convolutional Network (ConvNet) for 2D joint localization and a subsequent optimization step to recover 3D pose. In this paper, we identify the representation of 3D pose as a critical issue with current ConvNet approaches and make two important contributions towards validating the value of end-to-end learning for this task. First, we propose a fine discretization of the 3D space around the subject and train a ConvNet to predict per voxel likelihoods for each joint. This creates a natural representation for 3D pose and greatly improves performance over the direct regression of joint coordinates. Second, to further improve upon initial estimates, we employ a coarse-to-fine prediction scheme. This step addresses the large dimensionality increase and enables iterative refinement and repeated processing of the image features. The proposed approach outperforms all state-of-the-art methods on standard benchmarks achieving a relative error reduction greater than 30% on average. Additionally, we investigate using our volumetric representation in a related architecture which is suboptimal compared to our end-to-end approach, but is of practical interest, since it enables training when no image with corresponding 3D groundtruth is available, and allows us to present compelling results for in-the-wild images.

연구 동기 및 목표

• 단일 이미지 3D 인간 자세 추정에서 직접적인 3D 좌표 회귀의 한계를 해결하기 위해.
• 직접적인 좌표 회귀를 대체하여 관절 가능도의 조밀한 3D 볼륨 표현을 통해 성능을 향상시키기 위해.
• 볼륨 출력의 높은 차원성을 코어스 투 파인 감독 전략을 통해 관리하기 위해.
• 분리된 2D에서 3D로의 파이프라인과의 비교를 통해 엔드 투 엔드 학습의 우수성을 검증하기 위해.
• 3D 진짜값이 제공되지 않는 실생활 이미지에 대한 실용적 구현을 가능하게 하기 위해, 볼륨 표현의 비엔드 투 엔드 변형을 사용하기 위해.

제안 방법

• 주제 주변의 3D 공간을 볼륨 메쉬로 이산화하여, 각 볼륨은 관절 위치의 잠재적 후보를 나타낸다.
• 완전 컨volution 네트워크가 각 관절에 대해 볼륨당 가능도를 예측하여, 3D 좌표 회귀보다 더 풍부한 감독을 제공한다.
• 코어스 투 파인 전략을 통해 감독 볼륨의 해상도를 점진적으로 증가시켜, 특히 깊이(z) 차원에서 계산 복잡도를 관리한다.
• 중간 특징 맵을 단계 간에 이미지 특징과 융합하여 예측의 반복적 보완을 가능하게 한다.
• 다단계 감독을 통해 네트워크를 훈련시키며, 각 단계에서 이전 단계의 출력을 점진적으로 더 높은 해상도의 히트맵을 사용해 개선한다.
• 분리된 아키텍처도 탐색하였으며, 2D 관절 검출기와 별도의 3D 재구성 네트워크를 사용하여 MoCap 데이터를 기반으로 훈련한다.

실험 결과

연구 질문

• RQ1 3D 관절 가능도의 볼륨 표현이 직접적인 좌표 회귀에 비해 3D 인간 자세 추정 성능을 향상시킬 수 있는가?
• RQ2 코어스 투 파인 보완 전략은 3D 볼륨 출력의 높은 차원성을 효과적으로 관리하는가?
• RQ3 볼륨 감독을 통한 엔드 투 엔드 학습은 2D 관절 검출에 의존하는 두 단계 파이프라인과 비교해 어떻게 성능을 냅니다?
• RQ4 제안된 볼륨 표현은 3D 진짜값이 제공되지 않는 실생활 이미지 추론에 적응 가능한가?
• RQ5 깊이 차원에서 점진적인 해상도 증가가 최종 자세 정확도에 어떤 영향을 미치는가?

주요 결과

• 제안된 방법은 표준 벤치마크에서 최신 기술 대비 평균 30퍼센트 이상의 상대 오차 감소를 달성한다.
• Human3.6M 데이터셋에서 평균 3D 관절 오차가 67.38 mm를 기록하여 이전 최신 기술을 능가한다.
• KTH Football II 데이터셋에서 단일 시야 방법 중 가장 높은 평균 PCP 점수(96)를 기록하였으며, 일부 경우에서 다중 시야 기반 베이스라인을 초월한다.
• 코어스 투 파인 보완 전략은 구성 요소를 단순히 스택하는 것보다 성능 향상이著명하며, 경험적으로 검증되었다.
• 3D 진짜값이 있는 경우, 별도의 2D 및 3D 네트워크를 사용하는 분리된 아키텍처는 엔드 투 엔드 접근 방식보다 성능이 열 劣하다. 이는 공동 최적화의 이점을 확인한다.
• 정성적 결과는 MPII 데이터셋의 도전적인 실생활 이미지에서도 강력한 3D 자세 예측을 보여준다.