[논문 리뷰] MotionBERT: A Unified Perspective on Learning Human Motion Representations

Wentao Zhu, Xiaoxuan Ma외 4명|arXiv (Cornell University)|2022. 10. 12.

Human Pose and Action Recognition인용 수 8

한 줄 요약

MotionBERT는 2D 골격 시퀀스에 손상이 가해진 상태에서 3D 운동을 복원하는 것을 목표로 하는 이중 스트림 시공간 트랜스포머(DSTformer)를 사전학습시켜 일반화 가능한 인간 운동 표현을 학습하는 통합 프레임워크를 제안한다. 이 방법은 단순한 헤드를 사용해 사전학습된 인코더를 미세조정함으로써 3D 자세 추정, 인간 메쉬 재구성, 행동 인식 등 다양한 작업에서 최신 기술 수준(SOTA) 성능을 달성하여 다양한 인간 중심 비디오 작업 간 강력한 전이 가능성과 유연성을 입증한다.

ABSTRACT

We present a unified perspective on tackling various human-centric video tasks by learning human motion representations from large-scale and heterogeneous data resources. Specifically, we propose a pretraining stage in which a motion encoder is trained to recover the underlying 3D motion from noisy partial 2D observations. The motion representations acquired in this way incorporate geometric, kinematic, and physical knowledge about human motion, which can be easily transferred to multiple downstream tasks. We implement the motion encoder with a Dual-stream Spatio-temporal Transformer (DSTformer) neural network. It could capture long-range spatio-temporal relationships among the skeletal joints comprehensively and adaptively, exemplified by the lowest 3D pose estimation error so far when trained from scratch. Furthermore, our proposed framework achieves state-of-the-art performance on all three downstream tasks by simply finetuning the pretrained motion encoder with a simple regression head (1-2 layers), which demonstrates the versatility of the learned motion representations. Code and models are available at https://motionbert.github.io/

연구 동기 및 목표

• 공통된 운동 표현을 사용하여 다양한 인간 중심 비디오 작업을 해결하기 위한 통합 프레임워크 개발.
• 3D 모션 캡처 데이터, 실외 RGB 비디오, 행동 레이블이 부여된 데이터셋 등 이질적인 데이터 소스를 통합하여 일반화 가능한 운동 지식을 학습함으로써 도전 과제 해결.
• 자기지도 학습 기반의 2D에서 3D로의 운동 복원 작업을 사전학습함으로써 최종 작업의 전이 가능성과 성능 향상.
• 골격 관절 간 장거리 시공간적 종속성을 포괄할 수 있는 유니버설 운동 인코더 설계.
• 부분적 미세조정을 통해 여러 작업 간에 하나의 사전학습된 백본을 공유함으로써 효율적인 다중 작업 추론 구현.

제안 방법

• 손상된 2D 골격 시퀀스에서 3D 인간 운동을 복원하는 자기지도 학습 프리텍스트 작업을 사용해 운동 인코더를 사전학습.
• 이중 스트림 시공간 트랜스포머(DSTformer)를 운동 인코더로 사용하며, 별도의 공간 및 시간 주의 메커니즘을 갖추고 적응적으로 융합.
• 사전학습 중 2D 골격 시퀀스에 무작위 마스킹 및 노이즈 증강을 적용하여 강건성과 일반화 능력 향상.
• 고정밀도 3D 모션 캡처 데이터와 다양한 실외 RGB 비디오를 활용하여 운동 표현 학습의 다양성과 풍부함 향상.
• 각 최종 작업에 대해 단순한 회귀 헤드(1~2개의 완전 연결층)를 사용해 사전학습된 인코더를 미세조정.
• 운동 인코더를 고정하고 헤드만 학습함으로써 부분적 미세조정을 가능하게 하여 효율적인 다중 작업 배포 지원.

Figure 1: Framework overview. We utilize a motion encoder to learn human motion representations via recovering 3D human motion from corrupted 2D skeleton sequences. To adapt to different downstream tasks, we finetune the pretrained motion representations with a linear layer or a simple MLP.

실험 결과

연구 질문

• RQ1 이질적인 인간 운동 데이터 소스(예: 3D 모션 캡처, 실외 RGB 비디오, 행동 레이블이 부여된 데이터셋 등)에서 통합된 운동 표현을 학습시켜 여러 최종 작업에 유용하게 기여할 수 있는가?
• RQ2 2D에서 3D로의 운동 복원 작업을 사전학습으로 수행할 경우, 더 일반화되고 전이 가능한 운동 표현이 도출되는가?
• RQ3 운동 인코더의 아키텍처 선택, 예를 들어 이중 스트림 주의 및 융합 메커니즘의 영향은 성능과 일반화 능력에 어떤 영향을 미치는가?
• RQ4 단일 사전학습된 운동 인코더가 3D 자세 추정, 메쉬 재구성, 행동 인식 등 다양한 작업에서 최신 기술 수준(SOTA) 성능을 달성할 수 있는가?
• RQ5 사전학습 전략이 무작위 초기화나 완전한 학습에서의 성능 향상에 비해 어느 정도 향상되는가?

주요 결과

• 2D에서 3D로의 복원을 위한 사전학습 전략이 최종 작업 성능을 크게 향상시킴: MPJPE는 초기 학습(Scratch) 시 50.1mm에서 DSTformer 사전학습 후 39.25mm로 감소.
• 사전학습된 운동 인코더는 3D 자세 추정(MPJPE: 39.25 ±0.27 mm), 메쉬 재구성(MPVE: 80.5 mm), 행동 인식(1-shot 정확도: 60.7%)에서 최신 기술 수준(SOTA) 성능 달성.
• 부분적 미세조정(사전학습된 인코더를 고정하고 헤드만 학습)을 통해 경쟁 가능한 성능 달성하여 학습된 표현의 강력한 전이 가능성 입증.
• DSTformer의 이중 스트림 설계(S-T + T-S)가 단일 스트림 및 조기 융합 변종보다 우수한 성능 보여, 공간적 및 시간적 모델링의 보완적 기여 확인.
• 사전학습 중 오염 요소를 도입하고 실외 비디오를 활용함으로써 일반화 능력 향상, 특히 다양한 최종 작업에서 두드러진 효과.
• 제안된 사전학습 전략은 다양한 백본 아키텍처(예: TCN, PoseFormer)에 적용 가능하여 학습된 표현의 보편성 확인.

Figure 2: Model architecture. We propose the Dual-stream Spatio-temporal Transformer (DSTformer) as a general backbone for human motion modeling. DSTformer consists of $N$ dual-stream-fusion modules. Each module contains two branches of spatial or temporal MHSA and MLP. The Spatial MHSA models the c