[논문 리뷰] Generating Smooth Pose Sequences for Diverse Human Motion Prediction

Wei Mao, Miaomiao Liu외 1명|arXiv (Cornell University)|2021. 08. 19.

Human Pose and Action Recognition참고 문헌 52인용 수 6

한 줄 요약

이 논문은 정규화 흐름을 통해 자세 사전을 모델링하고 관절 각도 제약을 통해 시간적 연속성을 강제하여 다양한 제어 가능성을 갖춘 통합 딥 생성 모델을 제안한다. 본 방법는 신체 부위를 순차적으로 생성함으로써 엔드 투 엔드 학습이 가능하며, Human3.6M에서 25% 높은 샘플 다양성과 8% 낮은 재구성 오차를 기록하여 기존 최고 성능 모델을 초월한다.

ABSTRACT

Recent progress in stochastic motion prediction, i.e., predicting multiple possible future human motions given a single past pose sequence, has led to producing truly diverse future motions and even providing control over the motion of some body parts. However, to achieve this, the state-of-the-art method requires learning several mappings for diversity and a dedicated model for controllable motion prediction. In this paper, we introduce a unified deep generative network for both diverse and controllable motion prediction. To this end, we leverage the intuition that realistic human motions consist of smooth sequences of valid poses, and that, given limited data, learning a pose prior is much more tractable than a motion one. We therefore design a generator that predicts the motion of different body parts sequentially, and introduce a normalizing flow based pose prior, together with a joint angle loss, to achieve motion realism.Our experiments on two standard benchmark datasets, Human3.6M and HumanEva-I, demonstrate that our approach outperforms the state-of-the-art baselines in terms of both sample diversity and accuracy. The code is available at https://github.com/wei-mao-2019/gsps

연구 동기 및 목표

• 다양성과 제어 가능성을 달성하기 위해 별도의 매핑 또는 별도의 모델이 필요한 기존 확률적 운동 예측 방법의 한계를 해결한다.
• VAE 기반 방법에서 발생하는 모드 붕괴 문제를 해결하기 위해 운동 수준 분포가 아닌 자세 수준의 사전을 학습한다.
• 단일의 엔드 투 엔드 학습 가능한 모델을 통해 다양한 제어 가능한 운동을 동시에 예측할 수 있도록 한다.
• 자세 사전과 관절 각도 손실을 통해 운동의 물리적 타당성과 시간적 일관성을 확보함으로써 실제적인 연속된 운동 시퀀스를 보장한다.
• 모델 재학습 없이도 비제어 가능한 다양한 생성과 부분 기반 제어 가능한 생성을 모두 지원하는 통합 솔루션을 제공한다.

제안 방법

• 정규화 흐름 기반의 자세 사전을 제안하여 유효한 인간 자세의 분포를 모델링하고, 정확한 로그우도 계산과 더불어 다양성을 향상시킨다.
• 다른 신체 부위(예: 하체부터 먼저, 그 다음 상체)를 순차적으로 복원하는 생성기 도입으로 부분 기반 제어를 가능하게 한다.
• 비합리적인 관절 구성이 발생하지 않도록 관절 각도 손실을 통해 시간적 연속성과 운동의 물리적 타당성을 강제한다.
• 예측된 자세 쌍 간의 거리를 명시적으로 최대화함으로써 학습 중에 샘플 간 다양성을 극대화한다.
• 조건부 잠재 공간 설정을 통해 일부 신체 부위(예: 하체)의 잠재 코드를 고정하고 다른 부위(예: 상체)의 코드만 변화시켜 제어 가능한 생성을 가능하게 한다.
• 재구성, 다양성, 자세 사전, 관절 각도 손실 항목을 조합한 복합 손실을 사용하여 전체 모델을 엔드 투 엔드로 학습한다.

실험 결과

연구 질문

• RQ1 분리된 학습 없이도 통합 딥 생성 모델이 다양한 제어 가능한 인간 운동 예측을 동시에 달성할 수 있는가?
• RQ2 정규화 흐름을 통해 자세 사전을 모델링하면 직접 운동 분포를 학습하는 것보다 더 실제적이고 다양한 운동 시퀀스를 생성할 수 있는가?
• RQ3 신체 부위를 순차적으로 생성하는 방식이 특정 부위의 정밀한 제어를 가능하게 하면서도 운동의 현실성과 다양성을 유지할 수 있는가?
• RQ4 기본 벤치마크에서 다양성(APD)과 정확도(ADE, FDE) 측면에서 제안된 방법은 최고 성능 기준 모델과 비교해 어떻게 성능을 내는가?
• RQ5 자세 사전이 없는 경우 생성된 운동 시퀀스에서 비현실적이거나 유효하지 않은 자세가 얼마나 자주 발생하는가?

주요 결과

• Human3.6M 데이터셋에서 제안된 방법은 최고 성능 모델인 DLow 대비 ADE(재구성 오차)가 8% 낮고, APD(평균 쌍별 다양성)가 25% 높다.
• 모든 메트릭(ADE, FDE, MMADE, MMFDE, APD)에서 Human3.6M 및 HumanEva-I 양 측면에서 모든 베이스라인을 초월한다.
• 정성적 결과에서는 DLow가 비정상적인 자세(그림 7의 빨간 상자로 표시됨)를 종종 생성하는 반면, 본 모델은 더 실제적이고 다양한 운동을 생성함을 확인할 수 있다.
• 제거 실험 결과, 자세 사전 손실(L_nf)을 제거할 경우 비록 다양성은 높아지더라도 자세 품질(NLL)이 급격히 떨어지며, 자세 사전의 필요성을 입증한다.
• 본 방법는 다양한 상체 예측에 대해 동일한 하체 운동을 강제로 유지할 수 있으며, DLow는 거부 샘플링 없이 이 제어를 보장할 수 없다. 이는 상체 다양성을 감소시킨다.
• 본 방법는 다른 생성기로도 일반화 가능함을 보여주며, BoM에 조건부 설정을 적용한 결과는 설계의 강건성을 추가로 검증한다.