[논문 리뷰] Deep Monocular 3D Human Pose Estimation via Cascaded Dimension-Lifting

Changgong Zhang, Fangneng Zhan외 1명|arXiv (Cornell University)|2021. 04. 08.

Human Pose and Action Recognition참고 문헌 51인용 수 8

한 줄 요약

이 논문은 외부 2D 키포인트 검출기 없이 RGB 이미지에서 직접 3D 관절 좌표를 회귀하는 단일 영상 3D 인간 자세 추정을 위한 계단식 차원 상승 프레임워크를 제안한다. 중간 지도를 통해 2D 키포인트, 뼈 구조, 깊이 인식 표현을 순차적으로 예측함으로써, Human3.6M에서 48.7mm MPJPE와 MuPoTS-3D에서 83.3% 3DPCK를 달성하여 최신 기준 성능을 확보한다.

ABSTRACT

The 3D pose estimation from a single image is a challenging problem due to depth ambiguity. One type of the previous methods lifts 2D joints, obtained by resorting to external 2D pose detectors, to the 3D space. However, this type of approaches discards the contextual information of images which are strong cues for 3D pose estimation. Meanwhile, some other methods predict the joints directly from monocular images but adopt a 2.5D output representation $P^{2.5D} = (u,v,z^{r}) $ where both $u$ and $v$ are in the image space but $z^{r}$ in root-relative 3D space. Thus, the ground-truth information (e.g., the depth of root joint from the camera) is normally utilized to transform the 2.5D output to the 3D space, which limits the applicability in practice. In this work, we propose a novel end-to-end framework that not only exploits the contextual information but also produces the output directly in the 3D space via cascaded dimension-lifting. Specifically, we decompose the task of lifting pose from 2D image space to 3D spatial space into several sequential sub-tasks, 1) kinematic skeletons \& individual joints estimation in 2D space, 2) root-relative depth estimation, and 3) lifting to the 3D space, each of which employs direct supervisions and contextual image features to guide the learning process. Extensive experiments show that the proposed framework achieves state-of-the-art performance on two widely used 3D human pose datasets (Human3.6M, MuPoTS-3D).

연구 동기 및 목표

• 맥락적 이미지 특징과 구조적 지도를 활용하여 단일 영상 3D 인간 자세 추정에서의 깊이 모호성을 해소한다.
• RGB 이미지에서 직접 3D 자세를 회귀함으로써 외부 2D 키포인트 검출기 의존도를 제거한다.
• 기본 제공된 깊이 정보가 필요로 하는 2.5D 표현 방식의 한계를 극복하기 위해 직접 3D 출력을 가능하게 한다.
• 뼈 히트맵, 관절 히트맵, 깊이 중심 볼륨 표현을 활용한 다단계 지도를 통해 일반화 능력과 정확도를 향상시킨다.

제안 방법

• 뼈 히트맵을 먼저 예측하여 골격 구조 학습을 유도하는 단계별 히트맵 변환(S³HT) 브랜치를 도입한다.
• 키포인트 위치에서 유도된 합성 히트맵을 사용해 추가 애너테이션 없이도 2D 관절 추정을 지도한다.
• 정규화된 깊이 값들을 채널 인덱스로 사용하여 2D 키포인트 히트맵을 큐브로 매핑함으로써 3D 볼륨을 구성한다. 이는 상대 깊이를 인코딩한다.
• 융합된 특징 맵에 소프트-아르맥스를 적용하여 이미지에서 직접 최종 3D 좌표 (u, v, z)를 회귀한다.
• 잔차 연결된 MLP를 사용해 3D 상승을 수행함으로써 맥락적 이미지 특징을 활용한 고정밀 깊이 추정을 가능하게 한다.
• 다단계 지도를 적용: 관절 히트맵, 뼈-관절 히트맵 블록, 깊이 중심 볼륨 지도를 통해 학습 안정성과 정확도 향상을 도모한다.

실험 결과

연구 질문

• RQ1 중간 지도를 통한 계단식 차원 상승이 외부 2D 검출기 의존도를 피하면서도 3D 자세 추정 정확도를 향상시킬 수 있는가?
• RQ2 정규화된 깊이 인덱스를 기반으로 한 깊이 인식 볼륨 표현 방식이 이산 순위 또는 회귀 방식보다 깊이 모호성을 줄이는 데 얼마나 효과적인가?
• RQ3 뼈 구조 지도가 3D 키포인트 예측의 기하학적 일致성과 정확도를 얼마나 향상시키는가?
• RQ4 통합된 종단 간 프레임워크가 추론 시 진짜 깊이 정보나 카메라 내재 매개변수를 사용하지 않고도 단일 및 다중 인물 3D 자세 추정 벤치마크에서 최신 기준 성능을 달성할 수 있는가?

주요 결과

• 제안된 방법은 Protocol #1 조건 하에서 Human3.6M 데이터셋에서 48.7mm 평균 관절 위치 오차(MPJPE)를 달성하여 이전의 모든 단일 프레임 방법을 능가한다.
• MuPoTS-3D 벤치마크에서 83.3% 3D 정확도 기반 키포인트 비율(3DPCK)을 달성하여 토파스 기반 다중 인물 3D 자세 추정 분야에서 새로운 최신 기준 성능을 수립한다.
• 제거 분석 결과, 관절 히트맵 지도 외에 뼈-관절 히트맵 지도를 추가하면 MPJPE가 1.2mm 감소함을 확인했다.
• 모든 중간 지도(관절 히트맵 + 뼈 히트맵 + 깊이 중심 볼륨)를 포함한 전체 모델은 기준 모델의 MPJPE 54.1mm에서 48.7mm로 감소시켜 뚜렷한 성능 향상을 입증한다.
• 이전의 2.5D 방법이 추론 시 진짜 깊이 정보나 카메라 내재 매개변수를 필요로 하는 것과 달리, 본 방법은 추론 시 어떤 진짜 깊이 정보나 카메라 내재 매개변수도 사용하지 않아도 최신 기준 성능을 달성한다.
• 모델은 추가 파라미터 수가 매우 적지만 정확도 향상 효과가 뚜렷하여 효율적인 설계와 효과적인 지도의 중요성을 입증한다.