[논문 리뷰] 3D Human Pose Estimation with Spatial and Temporal Transformers

Ce Zheng, Sijie Zhu외 4명|arXiv (Cornell University)|2021. 03. 18.

Human Pose and Action Recognition인용 수 4

한 줄 요약

이 논문은 2D 비디오 시퀀스에서 3D 인간 자세 추정을 위한 순수 트랜스포머 기반 모델인 PoseFormer을 제안한다. 이 모델은 프레임 내의 관절 관계와 프레임 간의 장거리 시간적 의존성을 모델링하기 위해 별도의 공간적 및 시간적 트랜스포머 모듈을 사용한다. Human3.6M 및 MPI-INF-3DHP에서 최고 성능을 기록하며, 특히 작은 데이터셋에서 미세조정할 경우 정확도와 일반화 능력이 향상된다.

ABSTRACT

Transformer architectures have become the model of choice in natural language processing and are now being introduced into computer vision tasks such as image classification, object detection, and semantic segmentation. However, in the field of human pose estimation, convolutional architectures still remain dominant. In this work, we present PoseFormer, a purely transformer-based approach for 3D human pose estimation in videos without convolutional architectures involved. Inspired by recent developments in vision transformers, we design a spatial-temporal transformer structure to comprehensively model the human joint relations within each frame as well as the temporal correlations across frames, then output an accurate 3D human pose of the center frame. We quantitatively and qualitatively evaluate our method on two popular and standard benchmark datasets: Human3.6M and MPI-INF-3DHP. Extensive experiments show that PoseFormer achieves state-of-the-art performance on both datasets. Code is available at \url{https://github.com/zczcwh/PoseFormer}

연구 동기 및 목표

• 3D 인간 자세 추정에서 컨볼루션 네트워크가 장거리 시간적 의존성과 공간적 관절 관계를 모델링하는 데 한계를 보이는 것을 해결하기 위해.
• 비디오 기반 3D 자세 추정에서 2D에서 3D로의 업라이팅을 위한 순수 트랜스포머 아키텍처의 타당성과 효율성을 탐색하기 위해.
• 긴 입력 시퀀스일지라도 파라미터 증가와 계산 비용이 낮게 유지되는 모델을 설계하기 위해.
• 표준 벤치마크, 특히 소규모 데이터셋에서 모델의 성능과 일반화 능력을 평가하기 위해.
• 어 attention 맵을 분석하여 모델이 공간적 및 시간적 의존성을 어떻게 포착하는지 이해하기 위해.

제안 방법

• PoseFormer는 각 프레임의 2D 관절 좌표를 처리하는 공간 트랜스포머 모듈을 사용하며, 학습 가능한 위치 임베딩을 활용한 멀티헤드 자기주의 어텐션을 통해 관절 간 국소적 관계를 모델링한다.
• 공간 트랜스포머는 각 프레임에 대해 잠재 특징 표현을 출력하며, 공간적 구조와 관절 간 관계를 유지한다.
• 시간 트랜스포머 모듈은 이러한 공간적 표현을 프레임 간에 처리하여, 프레임 수준의 특징 시퀀스를 통해 자기주의 어텐션을 통해 장거리 시간적 의존성을 포착한다.
• 모델은 각 프레임의 2D 자세를 17개의 관절 토큰 시퀀스로 간주하며, 공간적 및 시간적 차원에 모두 위치 임베딩을 적용하여 공간적 및 시간적 순서를 유지한다.
• 최종 3D 자세는 시간 트랜스포머 출력에 주목하는 학습 가능한 쿼리 벡터를 사용하여 중심 프레임에 대해 예측된다.
• 모델은 3D 관절 좌표에 대한 표준 회귀 손실을 사용하여 엔드 투 엔드로 훈련되며, 컨볼루션 레이어가 전혀 포함되지 않는다.

실험 결과

연구 질문

• RQ1 순수 트랜스포머 아키텍처가 2D 비디오 시퀀스에서 3D 인간 자세 추정에서 컨볼루션 기반 베이스라인을 능가할 수 있는가?
• RQ2 공간-시간 트랜스포머 설계가 동시에 국소적 관절 관계와 장거리 시간적 의존성을 효과적으로 모델링할 수 있는가?
• RQ3 대규모 데이터에서 사전 훈련한 후 소규모 데이터셋에 대해 일반화 성능이 우수한가?
• RQ4 공간 및 시간 트랜스포머의 어텐션 맵은 의미 있는 인간 신체 구조와 운동 패턴을 어떻게 반영하는가?
• RQ5 긴 시퀀스 3D 자세 추정에서 모델 복잡도, 추론 속도, 정확도 사이의 상충 관계는 어떠한가?

주요 결과

• PoseFormer는 Human3.6M 데이터셋에서 최고 성능을 기록하며, MPJPE(평균 관절 위치 오차) 측면에서 이전 방법들을 능가한다.
• MPI-INF-3DHP 데이터셋에서 PoseFormer는 비교된 모든 방법들 중에서 가장 낮은 MPJPE를 기록하여 강력한 일반화 능력과 강건성을 보여준다.
• 더 긴 입력 시퀀스에서 높아진 정확도를 보이며, 장거리 시간적 의존성에 대한 효과적인 모델링을 시사한다.
• 작은 HumanEva 데이터셋에서 미세조정한 결과, 성능 향상이 뚜렷하게 나타나 대규모 사전 훈련에서 유래한 강력한 일반화 능력을 확인한다.
• 어텐션 시각화 결과, 공간 트랜스포머가 의미 있는 관절 그룹(예: 왼쪽/오른쪽 사지)을 학습하는 것으로 나타났으며, 시간 트랜스포머는 먼 프레임 간의 장거리 운동 패턴을 포착한다.
• 추론 속도가 가장 빠른 편은 아니지만, 2D 자세 검출기와 조합할 경우 전체 3D HPE 파이프라인에서 버퍼링되지 않으며, 수용 가능한 수준의 추론 시간을 유지한다.