[논문 리뷰] Towards 3D Human Pose Estimation in the Wild: a Weakly-supervised Approach

Xingyi Zhou, Qixing Huang외 3명|arXiv (Cornell University)|2017. 04. 08.

Human Pose and Action Recognition참고 문헌 29인용 수 69

한 줄 요약

실내 3D-라벨 데이터에서 현장 2D-라벨 데이터로 3D 포즈 지식을 전이하는 엔드투엔드 약지도 학습 프레임워크를 제안하고, 2D 포즈와 깊이 회귀를 기하학적 제약과 통합해 3D 예측을 규제합니다.

ABSTRACT

In this paper, we study the task of 3D human pose estimation in the wild. This task is challenging due to lack of training data, as existing datasets are either in the wild images with 2D pose or in the lab images with 3D pose. We propose a weakly-supervised transfer learning method that uses mixed 2D and 3D labels in a unified deep neutral network that presents two-stage cascaded structure. Our network augments a state-of-the-art 2D pose estimation sub-network with a 3D depth regression sub-network. Unlike previous two stage approaches that train the two sub-networks sequentially and separately, our training is end-to-end and fully exploits the correlation between the 2D pose and depth estimation sub-tasks. The deep features are better learnt through shared representations. In doing so, the 3D pose labels in controlled lab environments are transferred to in the wild images. In addition, we introduce a 3D geometric constraint to regularize the 3D pose prediction, which is effective in the absence of ground truth depth labels. Our method achieves competitive results on both 2D and 3D benchmarks.

연구 동기 및 목표

• 제한된 현장 3D 데이터에도 불구하고 현장에서의 3D 포즈 추정을 고무한다.
• 2D 및 3D 데이터를 모두 사용하여 2D 포즈와 깊이 회귀를 함께 학습하는 엔드-투-엔드 네트워크를 제안한다.
• 중간 2D 이미지 특징을 활용해 3D 깊이 예측을 향상시킨다.
• 2D 라벨만 사용할 수 있을 때 깊이를 규제하기 위한 3D 기하 제약을 도입한다.
• 3D 및 2D 벤치마크에서 최첨단 또는 경쟁력 있는 성능을 입증하고 현장 시나리오로의 전이를 보인다.

제안 방법

• 2D 포즈 추정 모듈과 깊이 회귀 모듈을 갖춘 2단계 연쇄 네트워크.
• 2D 모듈은 스택드 하우글래스 아키텍처를 사용해 2D 관절 히트맵을 생성한다.
• 깊이 모듈은 2D 모듈에서의 중간 특징 맵과 2D 히트맵을 함께 받아 각 관절의 깊이 값을 회귀한다.
• 학습은 3D 라벨이 있는 실내 데이터와 2D 라벨이 있는 현장 데이터를 통합된 엔드투엔드 프레임워크에서 사용한다.
• 3D 기하 제약은 3D 깊이 라벨이 사용 가능하지 않을 때 관절 간 골 길이 비의 안정성을 강제하며, 미리 정의된 뼈 그룹 내 골 길이 비를 기반으로 한 미분 가능한 손실 L_geo로 구현된다.
• 전체 손실은 L_2D와 L_dep를 결합하며, L_dep는 3D 데이터에 대해 유클리드 손실을, 2D 데이터에 대해 기하 손실을 사용하고, 세 단계 학습 방식(Stage 1: 2D 사전학습, Stage 2: 3D 깊이 학습과 2D 미세조정, Stage 3: 기하 제약이 적용된 공동 미세조정)을 따른다.

실험 결과

연구 질문

• RQ1 제한된 현장 3D 데이터에도 불구하고 현장에서의 3D 포즈 추정을 효과적으로 학습하기 위해 단일한 엔드투엔드 네트워크를 활용할 수 있는가?
• RQ2 중간 2D 특성 및 기하 깊이 정규화 손실을 도입하면 현장에서의 3D 포즈 정확도와 포즈 타당성이 향상되는가?
• RQ3 제안된 약지도 방식은 표준 3D 포즈 벤치마크에서 완전 지도 및 현장 방식과 비교해 어떤 차이를 보이는가?
• RQ4 세 단계 학습 프로토콜이 엔드투엔드 학습을 안정화하고 깊이 정보의 도메인 간 전이를 극대화할 수 있는가?

주요 결과

• 제안된 3D+2D/w geo 모델은 기저선과 비교해 Human3.6M에서 MPJPE를 크게 개선한다(예: 64.90 mm vs 82.44 mm, geo 제약 없이).
• 2D 및 3D 데이터의 공동 학습은 3D 데이터만 사용하거나 2D 데이터만 사용하는 경우보다 상당한 이득을 가져와 교차 도메인 전이를 효과적으로 입증한다.
• 기하 제약은 좌우 뼈 대칭성과 전반적 기하학적 타당성을 개선하며 현장 MPII 검증 및 MPI-INF-3DHP 데이터셋에서도 효과를 발휘한다.
• 2D 포즈 정확도(PCKh@0.5)는 여전히 경쟁력이 있어 깊이 감독이 깊이 모듈에 이점을 주면서도 2D 성능을 해치지 않음을 보여준다.
• 해당 방법은 현장 벤치마크(MPI-INF-3DHP)에서 최첨단 결과에 버금가거나 경쟁력 있는 성능을 달성하며 전체 훈련 데이터 없이도 강한 전이 능력을 보여준다.