[논문 리뷰] AvatarPoser: Articulated Full-Body Pose Tracking from Sparse Motion Sensing

Jiaxi Jiang, Paul Streli외 5명|arXiv (Cornell University)|2022. 07. 27.

Human Pose and Action Recognition인용 수 7

한 줄 요약

AvatarPoser는 헤드셋 및 핸드 컨트롤러의 운동 데이터만을 사용하여 세계 좌표계에서 전신 3D 인간 자세를 추정하는 새로운 Transformer 기반 방법이다. 추가 센서나 골반 추적 장치가 필요로 하지 않으며, AMASS에서 최고 성능을 기록하고, 전역 운동과 국소 관절 특징을 분리함으로써 실시간으로 현실적인 애니메이션을 가능하게 한다. 또한 역기구학적 최적화를 통해 예측값을 정밀하게 보정한다.

ABSTRACT

Today's Mixed Reality head-mounted displays track the user's head pose in world space as well as the user's hands for interaction in both Augmented Reality and Virtual Reality scenarios. While this is adequate to support user input, it unfortunately limits users' virtual representations to just their upper bodies. Current systems thus resort to floating avatars, whose limitation is particularly evident in collaborative settings. To estimate full-body poses from the sparse input sources, prior work has incorporated additional trackers and sensors at the pelvis or lower body, which increases setup complexity and limits practical application in mobile settings. In this paper, we present AvatarPoser, the first learning-based method that predicts full-body poses in world coordinates using only motion input from the user's head and hands. Our method builds on a Transformer encoder to extract deep features from the input signals and decouples global motion from the learned local joint orientations to guide pose estimation. To obtain accurate full-body motions that resemble motion capture animations, we refine the arm joints' positions using an optimization routine with inverse kinematics to match the original tracking input. In our evaluation, AvatarPoser achieved new state-of-the-art results in evaluations on large motion capture datasets (AMASS). At the same time, our method's inference speed supports real-time operation, providing a practical interface to support holistic avatar control and representation for Metaverse applications.

연구 동기 및 목표

• 현재 혼합현실 시스템에서 전신 표현의 부족을 해결하여 몰입감과 몸에 대한 소속감을 향상시키기 위해.
• 헤드 및 핸드 운동 입력만으로 완전한 인간 자세를 추정하는 문제를 해결하기 위해. 이는 매우 결정되지 않은 문제이다.
• 추가 센서(예: 골반 트래커 또는 관성측정장치)에 의존하지 않아 모바일 및 소비자 수준의 혼합현실 환경에서의 실용적 구현을 가능하게 하기 위해.
• 딥 러닝과 모델 기반 최적화를 조합하여 애니메이션 캐릭터의 현실감을 향상시키고 잡음 요소를 줄이기 위해.
• 표준 헤드셋 및 컨트롤러 입력만으로 메타버스에서 협업 및 원격현재 응용 프로그램을 위한 통합적 애니메이션 제어를 가능하게 하기 위해.

제안 방법

• 희소한 운동 입력(헤드 및 핸드/컨트롤러 자세)에서 깊이 있는 맥락적 특징을 추출하기 위해 Transformer 인코더를 사용한다.
• 전역 운동(이동 및 자세)을 학습된 국소 관절 각도에서 분리하여 정확도와 일반화 능력을 향상시킨다.
• 헤드 입력에서 골반 위치를 추론하기 위해 가상의 헤드에서 골반까지의 관절 체인을 학습 가능한 방식으로 사용하여 전신 관절 위치를 예측한다.
• 예측 후 역기구학(IK) 최적화 단계를 적용하여 손 및 사지 위치를 정밀하게 보정함으로써 관절 체인 내 누적 오차를 줄인다.
• 입력 특징에서 직접 전역 자세를 학습하는 Stabilizer 모듈을 도입하여 헤드만으로 추정하는 것보다 안정성을 향상시킨다.
• 학습 중에 뼈대 변환 후 관절 위치를 보조하기 위해 정방향 기구학(FK) 모듈을 활용하여 물리적으로 타당한 자세 구성이 되도록 보장한다.

실험 결과

연구 질문

• RQ1 골반 또는 신체에 부착된 센서 없이 헤드 및 손 운동 데이터만으로 정확한 전신 3D 인간 자세 추정이 가능할 수 있는가?
• RQ2 학습 기반 방법이 전역 운동과 국소 관절 특징을 효과적으로 분리하여 자세 추정의 정확도를 향상시킬 수 있는가?
• RQ3 신경망 예측과 역기구학을 조합함으로써 전신 애니메이션의 현실감과 정확도가 얼마나 향상되는가?
• RQ4 대규모 운동 캡처 데이터에서 최신 기술 대비 자세 정확도와 추론 속도 측면에서 본 방법의 성능은 어떠한가?
• RQ5 다양한 운동 유형에 대해 일반화 능력을 유지하면서 실시간으로 실제 혼합현실 환경에서 성능을 유지를 할 수 있는가?

주요 결과

• AvatarPoser는 AMASS 벤치마크에서 최고 성능을 기록하여 이전 방법들보다 전신 자세 정확도에서 뛰어난 성능을 보였다.
• Stabilizer 모듈을 통해 학습된 전역 자세를 활용함으로써 MPJPE(평균 관절 위치 오차)가 감소하였으며, 이는 헤드만의 자세 추정보다 안정성을 향상시켰다.
• Stabilizer 모듈을 제거할 경우 MPJPE가 증가하여, 헤드 자세의 노이즈를 처리하고 전역 자세 일관성을 향상시키는 데 그 중요성이 확인되었다.
• 네트워크 내에서 골반 위치를 직접 회귀하는 것보다 관절 체인을 통한 계산 방식이 성능이 뛰어나, 전역 이동을 위한 정방향 기구학의 유효성을 입증하였다.
• IK 보정 단계를 적용함으로써 손 위치 오차가 직접 네트워크 출력 대비 약 41% 감소하여 오차 누적 보정에 효과적임을 입증하였다.
• AvatarPoser는 NVIDIA 3090 GPU에서 평균 프레임 처리 시간이 10ms 미만으로 실시간 추론을 구현하여 실질적인 VR/AR 구현에 적합하다.