[논문 리뷰] PVRED: A Position-Velocity Recurrent Encoder-Decoder for Human Motion Prediction

Hongsong Wang, Jian Dong외 2명|arXiv (Cornell University)|2019. 06. 15.

Human Pose and Action Recognition참고 문헌 39인용 수 10

한 줄 요약

PVRED는 자세 속도, 시간적 위치 임베딩, 학습 가능한 쿼aternion 변환 레이어를 통합한 엔드 투 엔드 위치-속도 순환 인코더-디코더 네트워크를 제안한다. 속도 인식 RNN과 쿼aternion 기반 자세 표현을 통해 운동 동역학을 모델링함으로써, 단기 및 장기 예측에서 최신 기술 수준의 성능을 달성하며, 향후 4초까지 자연스럽고 의미 있는 자세를 생성한다.

ABSTRACT

Human motion prediction, which aims to predict future human poses given past poses, has recently seen increased interest. Many recent approaches are based on Recurrent Neural Networks (RNN) which model human poses with exponential maps. These approaches neglect the pose velocity as well as temporal relation of different poses, and tend to converge to the mean pose or fail to generate natural-looking poses. We therefore propose a novel Position-Velocity Recurrent Encoder-Decoder (PVRED) for human motion prediction, which makes full use of pose velocities and temporal positional information. A temporal position embedding method is presented and a Position-Velocity RNN (PVRNN) is proposed. We also emphasize the benefits of quaternion parameterization of poses and design a novel trainable Quaternion Transformation (QT) layer, which is combined with a robust loss function during training. We provide quantitative results for both short-term prediction in the future 0.5 seconds and long-term prediction in the future 0.5 to 1 seconds. Experiments on several benchmarks show that our approach considerably outperforms the state-of-the-art methods. In addition, qualitative visualizations in the future 4 seconds show that our approach could predict future human-like and meaningful poses in very long time horizons. Code is publicly available on GitHub: extcolor{red}{https://github.com/hongsong-wang/PVRNN}.

연구 동기 및 목표

• RNN 기반 운동 예측 모델이 평균 자세로 수렴하거나 현실적인 운동을 생성하지 못하는 한계를 해결한다.
• 기존 방법에서 시간적 위치 인식과 속도 모델링의 부족으로 인해 장기 예측 품질이 떨어지는 문제를 해결한다.
• 싱귤라리티와 불연속성을 피하기 위해 쿼aternion 파arameterization을 활용한 새로운 엔드 투 엔드 학습 가능한 아키텍처를 제안한다.
• 사인-余현 주파수 임베딩을 사용해 프레임 간 상대적 시간 위치를 인코딩함으로써 일반화 능력과 시간적 일관성을 향상시킨다.
• 단기(0.5초) 및 장기(최대 1초) 예측 벤치마크에서 뛰어난 성능을 달성하며, 정성적 결과는 4초까지 연장된다.

제안 방법

• 과거 자세, 자세 속도, 학습 가능한 시간적 위치 임베딩을 입력으로 받아 운동 동역학을 모델링하는 위치-속도 RNN(PVRNN)을 제안한다.
• 다양한 주파수의 사인 및余현 함수를 사용해 프레임 간 상대적 시간 위치를 인코딩하는 새로운 시간적 위치 임베딩 기법을 구현한다.
• 예측된 자세의 쿼aternion 기반 표현을 엔드 투 엔드로 학습할 수 있도록 허용하는 학습 가능한 쿼aternion 변환(QT) 레이어를 설계한다. 이로써 전처리/후처리 단계를 회피할 수 있다.
• 학습 안정성 향상과 기울기 흐름 개선을 위해 인코더-디코더 아키텍처 내 잔차 연결을 사용한다.
• 예측된 관절 위치에 대한 L2 손실과 속도 기반 감독을 조합한 강력한 손실 함수를 사용하여 운동 연속성을 향상시킨다.
• 자세 예측을 속도 예측과 자세 통합으로 분리하여, 예측된 속도를 시간에 따라 누적하여 미래 자세를 생성한다.

실험 결과

연구 질문

• RQ1 RNN 기반 운동 예측 프레임워크에 자세 속도를 통합함으로써 예측 정확도를 크게 향상시키고 평균 자세 수렴 현상을 줄일 수 있는가?
• RQ2 학습 가능한 시간적 위치 임베딩을 추가함으로써, 장기간 시퀀스에서 시간적으로 가까운 프레임과 먼 프레임을 구분하는 데 모델의 능력이 향상되는가?
• RQ3 쿼aternion 파arameterization이 특이점과 불연속성을 줄이고 운동의 현실성 향상에 얼마나 효과적인가?
• RQ4 속도 모델링, 위치 인코딩, 쿼aternion 학습의 조합이 400ms를 초과하는 장기 예측에 어떤 영향을 미치는가?
• RQ5 제안된 아키텍처는 모드 붕괴 없이 장기간(예: 4초)에 걸쳐 자연스럽고 의미 있는 인간 유사 운동 시퀀스를 생성할 수 있는가?

주요 결과

• PVRED는 Human3.6M에서 최신 기술 수준의 성능을 달성하였으며, 단기 예측에서 '흡연' 동작에 대해 80ms 시점에 0.24 mm의 오차, 400ms 시점에 0.93 mm의 오차를 기록했다.
• 장기 예측(560–1000ms)에서는 오차를 1.29 mm('흡연') 및 1.77 mm('의논')로 줄여, 기존 방법 대비 최대 0.21 mm의 개선을 이룩했다.
• 제거 실험 결과, 자세 속도를 제거하면 '의논' 동작에서 80ms 시점에 오차가 0.08 mm 증가하고 1000ms 시점에 0.21 mm 증가하여, 속도의 중요성이 입증되었다.
• 위치 임베딩은 '흡연' 동작에서 560ms 시점에 최대 0.06 mm의 오차 감소를 기록했으며, 비정기적 동작에서 더 큰 성과를 보여, 시간적 구분 능력 향상에 기여함을 입증했다.
• 쿼aternion 변환 레이어를 사용함으로써 '흡연' 동작에서 80ms 시점에 오차를 0.06 mm 감소시키고 1000ms 시점에 0.22 mm 감소시켜, 쿼aternion 파arameterization이 지수 매핑 표현보다 우월함을 검증했다.
• 정성적 결과는 PVRED가 향후 4초까지 일관되고 인간 유사한 운동 시퀀스를 생성함을 보여주며, 이는 이전 모델에서 흔히 발생하는 모드 붕괴를 피하고 있음을 시사한다.