[논문 리뷰] We are More than Our Joints: Predicting how 3D Bodies Move

Yan Zhang, Michael J. Black외 1명|arXiv (Cornell University)|2020. 12. 01.

Human Pose and Action Recognition참고 문헌 63인용 수 7

한 줄 요약

MOJO는 관절 기반 표현 방식을 대체하여 희박한 신체 표면 마커를 사용하는 새로운 3D 인간 운동 예측 프레임워크를 제안한다. 이는 운동의 현실성과 신체의 타당성을 향상시킨다. 조건부 변동 자동차오더(conditional variational autoencoder)와 잠재 DCT 공간, 그리고 반복적 SMPL-X 피팅을 통해 MOJO는 다양하고 고주파 운동을 생성하면서도 해부학적으로 타당한 신체 형태를 유지한다. AMASS에서 최신 기술 수준의 성능을 달성하였으며, 발 스키딩과 뼈 변형이 감소하였다.

ABSTRACT

A key step towards understanding human behavior is the prediction of 3D human motion. Successful solutions have many applications in human tracking, HCI, and graphics. Most previous work focuses on predicting a time series of future 3D joint locations given a sequence 3D joints from the past. This Euclidean formulation generally works better than predicting pose in terms of joint rotations. Body joint locations, however, do not fully constrain 3D human pose, leaving degrees of freedom undefined, making it hard to animate a realistic human from only the joints. Note that the 3D joints can be viewed as a sparse point cloud. Thus the problem of human motion prediction can be seen as point cloud prediction. With this observation, we instead predict a sparse set of locations on the body surface that correspond to motion capture markers. Given such markers, we fit a parametric body model to recover the 3D shape and pose of the person. These sparse surface markers also carry detailed information about human movement that is not present in the joints, increasing the naturalness of the predicted motions. Using the AMASS dataset, we train MOJO, which is a novel variational autoencoder that generates motions from latent frequencies. MOJO preserves the full temporal resolution of the input motion, and sampling from the latent frequencies explicitly introduces high-frequency components into the generated motion. We note that motion prediction methods accumulate errors over time, resulting in joints or markers that diverge from true human bodies. To address this, we fit SMPL-X to the predictions at each time step, projecting the solution back onto the space of valid bodies. These valid markers are then propagated in time. Experiments show that our method produces state-of-the-art results and realistic 3D body animations. The code for research purposes is at https://yz-cnsdqz.github.io/MOJO/MOJO.html

연구 동기 및 목표

• 관절 기반 3D 운동 예측의 한계를 해결하기 위해, 이는 지속적으로 사지의 회전을 제약하지 못하고 시간이 지남에 따라 비현실적인 신체 형태를 초래한다.
• 관절 위치만으로는 포착되지 않는 세밀하고 고주파의 신체 운동을 모델링하여 운동의 현실성을 향상시키기 위해 노력한다.
• 각 시간 단계에서 예측된 마커를 타당한 3D 신체의 다양체(manifold)에 투영시켜 예측된 운동이 해부학적으로 타당한 상태를 유지하도록 보장한다.
• 마커 기반 표현 방식이 관절 기반 방법에 비해 운동의 자연스러움과 기하학적 타당성 측면에서 우월함을 입증한다.
• 전체 시간 해상도를 유지하면서도 다양하고 고주파의 운동 샘플링이 가능한 생성 모델을 개발한다.

제안 방법

• MOJO는 전통적인 관절 기반 표현 방식을 대체하기 위해 신체 표면에 희박한 3D 마커 집합을 사용하여 인간 운동을 표현한다.
• 운동 주파수를 독립적으로 모델링하기 위해 이산 코사인 변환(DCT)을 통해 분해된 잠재 공간을 갖는 조건부 변동 자동차오더(CVAE)를 사용한다.
• 잠재 사전 분포를 저주파 성분 쪽으로 암묵적으로 편향시키기 위해 강력한 쿨백-라이블러 발산(KLD) 항목을 사용하며, 저주파 대역에서는 잠재 흐름(DLows)을 다양화하고 고주파 대역에서는 표준 정규 분포 노이즈를 사용한다.
• 추론 시점에서 MOJO는 예측된 마커에 대해 반복적 SMPL-X 신체 모델 피팅을 수행하여 마커를 타당한 신체 다양체에 투영함으로써 기하학적 왜곡을 방지한다.
• 이 방법은 전체 시간 해상도를 유지하며 고주파 세부 정보를 갖는 다양한 미래 운동을 확률적으로 샘플링할 수 있도록 한다.
• 이 프레임워크는 AMASS 데이터셋에서 훈련되며, MPJPE, BDF, 발 스키딩, 인지 평가 점수 등의 지표를 사용해 평가된다.

실험 결과

연구 질문

• RQ1 관절 기반 운동 표현 방식을 신체 표면 마커로 대체함으로써 3D 인간 운동 예측의 현실성과 기하학적 타당성이 향상되는가?
• RQ2 DCT를 통한 잠재 주파수 공간에서의 운동 모델링이 세밀하고 고주파의 신체 운동을 향상시키는가?
• RQ3 예측된 마커를 타당한 신체 다양체에 반복적으로 투영함으로써 오차 누적이 줄어들고 비현실적인 신체 변형이 방지되는가?
• RQ4 마커 기반 MOJO 프레임워크는 관절 기반 기준 모델에 비해 운동 정확도, 다양성, 인지 품질 측면에서 어떻게 비교되는가?
• RQ5 DCT 기반 잠재 공간을 사용함으로써 기존 잠재 벡터 접근 방식에 비해 발 스키딩 아티팩트가 감소하는가?

주요 결과

• MOJO는 DCT 기반 잠재 공간을 통해 고주파 운동 성분을 모델링함으로써 발 스키딩 아티팩트를 크게 줄였으며, 이는 비-DCT 기반 기준 모델보다 이 지표에서 뛰어난 성능을 보였다.
• 반복적 SMPL-X 피팅 기법은 예측이 시간이 지남에 따라 산산이 흩어져도 뼈 변형과 잘못된 자세를 완전히 제거한다.
• 67개 마커(SM2 배치)를 사용할 경우 더 적은 마커나 관절 전용 표현보다 모든 지표에서 성능 향상을 보였으며, 마커 배치의 중요성을 입증한다.
• 세부 동작이 많은 BMLhandball 데이터셋에서 MOJO는 MOJO-DCT 변종보다 인지 평가에서 뛰어난 성능을 보였으며, 세밀한 운동에서 고주파 모델링의 유용성을 시사한다.
• 관절 기반 기준 모델에 반복적 투영 기법을 적용하더라도 뼈 변형이 발생하지만, MOJO의 마커 기반 접근 방식은 동일한 기법을 사용함에도 불구하고 이러한 아티팩트를 완전히 제거한다.
• MOJO는 AMASS에서 최신 기술 수준의 성능을 달성하였으며, 이전 방법에 비해 인지 품질이 향상되고 기하학적 모순이 감소하였다.