[논문 리뷰] Capturing the motion of every joint: 3D human pose and shape estimation with independent tokens

Sen Yang, Wen Heng외 4명|arXiv (Cornell University)|2023. 03. 01.

Human Pose and Action Recognition인용 수 4

한 줄 요약

이 논문은 단일 이미지나 영상에서 3D 인간 자세 및 형태 추정을 위한 새로운 Transformer 기반 방법을 제안한다. 관절의 자세, 신체 형태, 카메라 파라미터에 대해 독립적인 토큰을 사용하며, 이미지 특징에서 이 토큰들을 독립적으로 학습하고 관절별 시간적 Transformer를 적용하여 국소적인 자세 운동 일관성을 확보한다. 이로 인해 3DPW에서 42.0 mm PA-MPJPE를 기록하며 최신 기술 수준을 초월한다.

ABSTRACT

In this paper we present a novel method to estimate 3D human pose and shape from monocular videos. This task requires directly recovering pixel-alignment 3D human pose and body shape from monocular images or videos, which is challenging due to its inherent ambiguity. To improve precision, existing methods highly rely on the initialized mean pose and shape as prior estimates and parameter regression with an iterative error feedback manner. In addition, video-based approaches model the overall change over the image-level features to temporally enhance the single-frame feature, but fail to capture the rotational motion at the joint level, and cannot guarantee local temporal consistency. To address these issues, we propose a novel Transformer-based model with a design of independent tokens. First, we introduce three types of tokens independent of the image feature: extit{joint rotation tokens, shape token, and camera token}. By progressively interacting with image features through Transformer layers, these tokens learn to encode the prior knowledge of human 3D joint rotations, body shape, and position information from large-scale data, and are updated to estimate SMPL parameters conditioned on a given image. Second, benefiting from the proposed token-based representation, we further use a temporal model to focus on capturing the rotational temporal information of each joint, which is empirically conducive to preventing large jitters in local parts. Despite being conceptually simple, the proposed method attains superior performances on the 3DPW and Human3.6M datasets. Using ResNet-50 and Transformer architectures, it obtains 42.0 mm error on the PA-MPJPE metric of the challenging 3DPW, outperforming state-of-the-art counterparts by a large margin. Code will be publicly available at https://github.com/yangsenius/INT_HMR_Model

연구 동기 및 목표

• 단일 이미지나 영상에서 3D 인간 자세 및 형태 추정의 불안정한 성격을 해결하기 위해.
• 기존 방법이 평균 자세/형태 사전 지식에 의존하는 반복적 회귀에 의존하여 관절 수준의 시간적 운동 일관성을 포착하지 못하는 한계를 극복하기 위해.
• 이미지 수준의 특징이 아닌 개별 관절 수준에서 자세 운동을 모델링하여 국소 운동의 매끄러움을 향상시키고 진동을 줄이기 위해.
• 대규모 데이터에서의 자기지도 학습을 통해 3D 관절 자세, 신체 형태, 카메라 파라미터에 대한 분리된, 이미지에 의존하지 않는 표현을 학습하기 위해.

제안 방법

• 관절 자세 토큰, 형태 토큰, 카메라 토큰의 세 가지 종류의 학습 가능한 독립 토큰을 도입하며, 이미지나 시점에 의존하지 않게 초기화한다.
• 이미지 특징에 주의를 기울여 점진적으로 향상시키는 Transformer 인코더를 사용하여 SMPL 파라미터의 엔드 투 엔드 추정을 가능하게 한다.
• 각 관절의 자세 토큰에 대해 별도의 시간적 Transformer를 적용하여 영상 프레임 간의 관절별 자세 역학을 모델링한다.
• 시간 모듈에서 자기주의를 활용하여 프레임 간 상관관계를 학습하고, 과거 및 향후 운동 패tern을 사용해 현재 프레임 추정을 정규화한다.
• 명시적인 운동학 제약 조건이나 반복적 보정 없이 표준 3D 관절점 및 메쉬 감독을 사용해 모델을 엔드 투 엔드로 훈련한다.
• 효율성을 유지하면서도 관절별 시간 모델링을 가능하게 하기 위해 관절 간 공유된 시간 인코더를 사용한다.

실험 결과

연구 질문

• RQ1 의미 자세 초기화에 의존하지 않고도 분리된, 이미지에 의존하지 않는 토큰이 3D 인간 관절 자세 및 신체 형태의 사전 지식을 효과적으로 학습할 수 있는가?
• RQ2 이미지 수준이 아닌 관절 수준에서 시간 역학을 모델링할 경우, 영상 시퀀스에서 국소 운동 일관성 향상과 자세의 진동 감소에 기여하는가?
• RQ3 각 관절에 대해 별도의 시간 모델링을 적용한 토큰 기반 표현이, 이미지 수준의 시간 인코더보다 자세 운동 패턴을 더 잘 포착할 수 있는가?
• RQ4 독립 토큰이 명시적인 SMPL 감독 없이도 현실적이며 구조적인 자세 및 형태 사전 지식을 얼마나 잘 학습하는가?

주요 결과

• 모델은 도전적인 3DPW 벤치마크에서 42.0 mm PA-MPJPE를 기록하여 최신 기술 수준의 방법보다 크게 앞서는 성능을 달성한다.
• 관절별 시간 모델링은 걷기 자세와 같은 주기적 운동 패턴을 효과적으로 포착하며, 시간적으로 유사한 관절 상태 간의 높은 주의 상관관계로 확인된다.
• 의도적인 SMPL 제약 없이도 사전 자세 및 형태 토큰이 타당하고 비랜덤한 구성으로 학습되며, 효과적인 자기지도 사전 지식 학습을 나타낸다.
• 질적 결과를 통해 관절 수준에서 자세 운동을 명시적으로 모델링함으로써 국소 자세의 진동을 줄였음을 확인할 수 있다.
• 관절별 별도의 시간 학습 방식은 병렬 공간-시간 모델링 접근보다 PA-MPJPE에서 1 mm 향상되어 관절 수준의 시간 모델링의 유용성을 입증한다.
• Human3.6M에서도 유사한 성능을 달성하면서 영상 데이터에서의 강인성과 시간적 일관성은 크게 향상되었다.