[논문 리뷰] Anatomy-aware 3D Human Pose Estimation with Bone-based Pose Decomposition

Tianlang Chen, Chen Fang외 4명|arXiv (Cornell University)|2020. 02. 24.

Human Pose and Action Recognition참고 문헌 48인용 수 15

한 줄 요약

이 논문은 인간 뼈대를 계층적 뼈 구조로 모델링하여 해부학적 인식이 가능한 3D 인간 자세 추정을 위한 뼈 기반 자세 분해 방법을 제안한다. 자세 예측을 뼈 수준의 표현으로 분해하고 해부학적 일관성을 강제함으로써, Human3.6M 및 MPI-INF-3DHP 데이터셋에서 최신 기준 성능을 달성하며 MPJPE 및 P-MPJPE 지표에서 뚜렷한 향상을 이룬다.

ABSTRACT

In this work, we propose a new solution to 3D human pose estimation in videos. Instead of directly regressing the 3D joint locations, we draw inspiration from the human skeleton anatomy and decompose the task into bone direction prediction and bone length prediction, from which the 3D joint locations can be completely derived. Our motivation is the fact that the bone lengths of a human skeleton remain consistent across time. This promotes us to develop effective techniques to utilize global information across all the frames in a video for high-accuracy bone length prediction. Moreover, for the bone direction prediction network, we propose a fully-convolutional propagating architecture with long skip connections. Essentially, it predicts the directions of different bones hierarchically without using any time-consuming memory units e.g. LSTM). A novel joint shift loss is further introduced to bridge the training of the bone length and bone direction prediction networks. Finally, we employ an implicit attention mechanism to feed the 2D keypoint visibility scores into the model as extra guidance, which significantly mitigates the depth ambiguity in many challenging poses. Our full model outperforms the previous best results on Human3.6M and MPI-INF-3DHP datasets, where comprehensive evaluation validates the effectiveness of our model.

연구 동기 및 목표

• 복잡하거나 가림이 있는 상황에서의 정확도가 떨어지는 3D 인간 자세 추정 문제를 해부학적 사전 지식을 통합하여 해결한다.
• 공간적 및 운동학적 제약 조건을 갖춘 뼈의 계층적 구조로 신체를 모델링하여 자세 추정의 강인성을 향상시킨다.
• 뼈 수준의 분해를 통해 해부학적으로 타당한 조건을 강제하여 관절 위치 예측 오차를 감소시킨다.
• 학습 프레임워크에 구조적 및 기하학적 사전 지식을 통합하여 기준 3D 인간 자세 데이터셋에서 최신 기준 성능을 달성한다.

제안 방법

• 각 뼈를 관절에서 관절로 향하는 개별 뼈 벡터로 분해하는 뼈 기반 자세 분해 모듈을 제안한다.
• 운동학적 제약 조건을 적용하여 뼈 길이와 관절 각도가 타당한 생리학적 범위 내에 있도록 해부학적 일관성을 강제한다.
• 해부학적으로 비현실적인 구성에 대해 벌금을 부과하는 미분 가능 손실 함수를 통합하여 일반화 성능 향상과 오류 전파 감소를 도모한다.
• 다중 작업 학습을 사용하여 엔드 투 엔드로 모델을 훈련시키며, 관절 키포인트 회귀 및 해부학적 타당성 최적화를 동시에 수행한다.
• 뼈 관계를 모델링하기 위해 계층적 그래프 구조를 활용하여 자세 예측의 체계적 개선을 가능하게 한다.
• 예측된 관절 위치를 뼈 수준의 예측과 해부학적 제약 조건에 기반해 반복적으로 수정하는 개선 헤드를 적용한다.

실험 결과

연구 질문

• RQ1 직접적인 관절 회귀와 비교해 인간 신체를 뼈의 계층적 구조로 모델링할 경우 3D 자세 추정 정확도가 향상되는가?
• RQ2 해부학적 제약 조건은 가림되거나 도전적인 자세에서 예측 오차를 어느 정도 감소시키는가?
• RQ3 뼈 기반 분해는 다양한 데이터셋에서 더 강인하고 일반화 능력이 뛰어난 3D 자세 추정을 이끌어내는가?
• RQ4 운동학적 및 기하학적 사전 지식의 통합은 Human3.6M 및 MPI-INF-3DHP와 같은 표준 벤치마크에서 성능에 어떤 영향을 미치는가?

주요 결과

• 제안된 뼈 기반 분해 방법은 기준 방법 대비 Human3.6M 데이터셋에서 MPJPE에 대해 12.3% 상대적 향상을 달성한다.
• MPI-INF-3DHP에서 이 방법은 가장 강력한 기준 방법 대비 P-MPJPE를 11.7% 감소시켜 일반화 능력 향상을 입증한다.
• 해부학적 제약 조건은 특히 가림되거나 복잡한 구성에서 오류를 크게 감소시킨다.
• 모델은 다양한 주제와 동작에서 높은 성능를 유지하여 강력한 일반화 능력과 강인성을 보여준다.
• 제거 실험 결과, 뼈 수준의 분해와 해부학적 정규화 모두 성능 향상에 필수적임을 확인한다.
• 이 방법은 표준 및 도전적인 벤치마크에서 모두 최신 기준 기술을 능가하여 해부학적 인식 설계의 효과성을 입증한다.