[논문 리뷰] Anatomy-aware 3D Human Pose Estimation in Videos.

Tianlang Chen, Chen Fang외 4명|arXiv (Cornell University)|2020. 02. 24.

Human Pose and Action Recognition인용 수 16

한 줄 요약

이 논문은 영상 프레임 간 뼈대 일관성을 활용하여 자세 예측을 뼈대 방향과 뼈대 길이 회귀로 분해하는 해부학적 인식 3차원 인간 자세 추정 방법을 제안한다. 방향 예측에 완전 컨volutional, 장거리 skip 연결 네트워크를 사용하고, 뼈대 길이와 방향 학습을 정렬하기 위해 연합 이동 손실을 도입함으로써, Human3.6M 및 MPI-INF-3DHP 데이터셋에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

In this work, we propose a new solution for 3D human pose estimation in videos. Instead of directly regressing the 3D joint locations, we draw inspiration from the human skeleton anatomy and decompose the task into bone direction prediction and bone length prediction, from which the 3D joint locations can be completely derived. Our motivation is the fact that the bone lengths of a human skeleton remain consistent across time. This promotes us to develop effective techniques to utilize global information across {\it all} the frames in a video for high-accuracy bone length prediction. Moreover, for the bone direction prediction network, we propose a fully-convolutional propagating architecture with long skip connections. Essentially, it predicts the directions of different bones hierarchically without using any time-consuming memory units (e.g. LSTM). A novel joint shift loss is further introduced to bridge the training of the bone length and bone direction prediction networks. Finally, we employ an implicit attention mechanism to feed the 2D keypoint visibility scores into the model as extra guidance, which significantly mitigates the depth ambiguity in many challenging poses. Our full model outperforms the previous best results on Human3.6M and MPI-INF-3DHP datasets, where comprehensive evaluation validates the effectiveness of our model.

연구 동기 및 목표

• 인간 뼈대의 해부학적 제약 조건을 활용하여 영상 기반 3차원 인간 자세 추정의 정확도를 향상시키기 위해.
• 깊이 모호성을 줄이기 위해 2D 관절 키포인트 관측치에 가시성 점수를 암시적 가이던스로 통합하기 위해.
• 재귀 단위 없이 장기적 시간적 모델링을 향상시키기 위해 전역 영상 컨텍스트를 활용하여 뼈대 길이 예측에 활용하기 위해.
• 새로운 연합 이동 손실을 통해 뼈대 방향과 길이 예측을 통합하여 최적화를 향상시키기 위해.
• 물리학에 기반한 자세 추정 분해를 통해 벤치마크 3차원 인간 자세 데이터셋에서 최신 기술 수준의 성능를 달성하기 위해.

제안 방법

• 이 방법은 3차원 자세 추정을 두 가지 하위 작업으로 분해한다: 뼈대 방향과 뼈대 길이를 예측하고, 이를 바탕으로 전체 관절 위치를 해석적으로 유도한다.
• 장거리 스킵 연결을 갖춘 완전 컨volution 네트워크를 사용하여 계층적 뼈대 방향 예측을 수행하며, LSTMs와 같은 재귀 단위를 피한다.
• 모든 영상 프레임의 전역 컨텍스트를 집계하여 뼈대 길이 예측을 향상시키며, 뼈대 길이의 시간 불변성을 활용한다.
• 뼈대 방향과 길이 예측 네트워크의 최적화를 정렬하기 위해 연합 이동 손실을 도입하여 특징 일관성을 향상시킨다.
• 2D 관절 키포인트 가시성 점수를 네트워크에 통합하는 암시적 주의 메커니즘을 도입하여 깊이 모호성을 줄인다.
• 2D 관절 키포인트 히트맵과 3D 관절 애너테이션에 대한 감독을 사용하여 다중 작업 학습 프레임워크로 엔드 투 엔드로 학습한다.

실험 결과

연구 질문

• RQ1 3차원 자세 추정을 뼈대 방향과 길이 예측으로 분해하는 것이 영상 기반 인간 자세 추정의 정확도와 일반화 능력을 향상시키는가?
• RQ2 모든 영상 프레임에 걸친 전역 시간적 컨텍스트를 효과적으로 활용하여 시간에 따라 일관된 뼈대 길이를 예측할 수 있는가?
• RQ3 완전 컨볼루션 아키텍처가 3차원 자세 추정의 시간 동적 모델링에서 재귀 단위를 대체할 수 있는가?
• RQ4 2D 관절 키포인트 가시성 점수를 통합함으로써 가림되거나 모호한 자세에서 깊이 모호성이 얼마나 감소하는가?
• RQ5 뼈대 방향과 길이 예측을 정렬하는 연합 이동 손실이 전체 3차원 자세 추정 정확도를 향상시키는가?

주요 결과

• 제안된 방법은 Human3.6M 데이터셋에서 최신 기술 수준의 성능를 달성하여 이전 방법보다 3차원 관절 오차 지표에서 뛰어난 성능를 보였다.
• MPI-INF-3DHP 데이터셋에서는 최고의 보고된 결과를 달성하여 다양한 자세와 동작에 걸쳐 강력한 일반화 능력을 입증하였다.
• 전역 영상 컨텍스트를 활용한 뼈대 길이 예측은 특히 장시간 시퀀스에서 안정성과 정확도를 크게 향상시켰다.
• 암시적 주의 메커니즘이 특히 자기 가림이나 복잡한 자세에서 깊이 모호성을 효과적으로 줄였다.
• 연합 이동 손실은 뼈대 방향과 길이 예측 간의 정렬을 향상시켜 최종 3차원 관절 회귀 성능을 향상시켰다.
• 장거리 스킵 연결을 갖춘 완전 컨볼루션 아키텍처는 재귀 단위 없이도 효율적인 추론을 가능하게 하며, 높은 정확도를 유지한다.