[논문 리뷰] Long-Term Human Motion Prediction by Modeling Motion Context and Enhancing Motion Dynamic

Yongyi Tang, Lin Ma외 2명|arXiv (Cornell University)|2018. 05. 07.

Human Pose and Action Recognition참고 문헌 4인용 수 41

한 줄 요약

본 논문은 모션-컨텍스트 인지 예측 프레임워크를 도입하고 수정된 highway unit (MHU) 및 gram-matrix 손실을 통해 장기 3D 인간 모션 예측을 개선하고 활동 라벨에 조건화된 모션 전이의 가능성을 만든다.

ABSTRACT

Human motion prediction aims at generating future frames of human motion based on an observed sequence of skeletons. Recent methods employ the latest hidden states of a recurrent neural network (RNN) to encode the historical skeletons, which can only address short-term prediction. In this work, we propose a motion context modeling by summarizing the historical human motion with respect to the current prediction. A modified highway unit (MHU) is proposed for efficiently eliminating motionless joints and estimating next pose given the motion context. Furthermore, we enhance the motion dynamic by minimizing the gram matrix loss for long-term motion prediction. Experimental results show that the proposed model can promisingly forecast the human future movements, which yields superior performances over related state-of-the-art approaches. Moreover, specifying the motion context with the activity labels enables our model to perform human motion transfer.

연구 동기 및 목표

• 정확한 장기 인간 모션 예측을 향한 동기를 제공하고 단기 정확도 이상으로 확장하려는 목적.
• 현재 예측에 대한 과거 모션을 요약하기 위해 모션 컨텍스트를 모델링한다.
• 모션-bearing 관절의 업데이트를 선택적으로 제어하는 Modified Highway Unit을 개발한다.
• 시계열-공간 모션 다이내믹을 촉진하기 위해 gram-matrix 손실을 도입한다.
• 활동 라벨에 조건을 붙여 모션 컨텍스트를 모듈레이션함으로써 모션 전이를 시연한다.

제안 방법

• 스켈레톤 임베딩 레이어를 통해 과거 골격을 의미 공간에 임베딩한다.
• 마지막으로 예측된 프레임에 대해 과거 임베딩을 시간적으로 주의(attention)하여 모션 컨텍스트를 계산한다.
• 모션 컨텍스트와 현재 입력에 기반해 모션-bearing 관절의 업데이트를 게이트하는 Modified Highway Unit을 사용하여 미래 골격을 예측한다.
• 그레이드 매트릭스 손실을 통해 예측을 최적화하여 시간적 다이내믹스와 관절 간 상관관계를 포착한다.
• 선택적으로 활동 라벨을 제공해 모션 컨텍스트를 조절함으로써 모션 전이를 수행할 수 있다.

실험 결과

연구 질문

• RQ1 전체 과거 시퀀스로부터 모델링된 모션 컨텍스트가 마지막 은닉 상태만을 사용하는 것보다 장기 예측을 개선할 수 있는가?
• RQ2 Modified Highway Unit이 모션이 없는 관절을 효과적으로 필터링하여 예측에 유 informative한 관절에 집중하게 하는가?
• RQ3 gram-matrix 기반 목표가 표준 MSE 손실보다 시계열 다이내믹스와 공간 상관관계를 더 잘 포착하는가?
• RQ4 예측 중에 활동 라벨에 조건을 붙여 모델이 모션 전이를 지원할 수 있는가?

주요 결과

• 제안된 방법은 H3.6m 데이터셋에서 장기 예측에 대해 최첨단 방법보다 우수한 성능을 보인다.
• 모션 컨텍스트 모델링은 마지막 은닉 상태만 사용하는 것보다 장기 예측이 더 견고하다.
• gram-matrix 손실은 시간적 다이내믹스를 향상시키고 평균 포즈 수렴을 감소시켜 장기 결과를 개선한다.
• Modified Highway Unit은 동적으로 움직이는 관절에 중점을 두고 업데이트를 효과적으로 게이트한다.
• 활동 라벨에 조건을 붙여 모션 전이를 지원하므로 활동 간 원활한 전이가 가능하다.