[논문 리뷰] Perpetual Motion: Generating Unbounded Human Motion

Yan Zhang, Michael J. Black외 1명|arXiv (Cornell University)|2020. 07. 27.

Human Pose and Action Recognition참고 문헌 30인용 수 19

한 줄 요약

이 논문은 단일 초깃 자세에서부터 지속적이고 비결정적인 인간 운동을 생성하기 위해, 무거운 尾 꼬리 분포를 가진 페널티를 적용한 새로운 KL 발산 항을 통해 전역 경로와 신체 자세를 교차 조건화하는 이중 스트림 변분 RNN 모델을 제안한다. 이 방법은 후행 붕괴 없이 장기간(예: 10분)에 걸쳐 실제성 있고 다양한, 시간적으로 일관된 운동 시퀀스를 생성하며, 자연성과 다양성 평가에서 최신 기준 모델들을 능가한다.

ABSTRACT

The modeling of human motion using machine learning methods has been widely studied. In essence it is a time-series modeling problem involving predicting how a person will move in the future given how they moved in the past. Existing methods, however, typically have a short time horizon, predicting a only few frames to a few seconds of human motion. Here we focus on long-term prediction; that is, generating long sequences (potentially infinite) of human motion that is plausible. Furthermore, we do not rely on a long sequence of input motion for conditioning, but rather, can predict how someone will move from as little as a single pose. Such a model has many uses in graphics (video games and crowd animation) and vision (as a prior for human motion estimation or for dataset creation). To address this problem, we propose a model to generate non-deterministic, extit{ever-changing}, perpetual human motion, in which the global trajectory and the body pose are cross-conditioned. We introduce a novel KL-divergence term with an implicit, unknown, prior. We train this using a heavy-tailed function of the KL divergence of a white-noise Gaussian process, allowing latent sequence temporal dependency. We perform systematic experiments to verify its effectiveness and find that it is superior to baseline methods.

연구 동기 및 목표

• 장기간의 실제성 있고 다양한 인간 운동 시퀀스를 장입력 시퀀스나 외부 제어 없이 단일 정적 자세에서 생성하기 위해.
• 지속적인 생성을 위해 인간 운동의 내재된 확률성과 시간적 의존성을 효과적으로 모델링하는 데 도전하기 위해.
• 학습 중 후행 붕괴를 방지하는 암묵적인 시간적 구조를 가진 잠재 사전을 개발하기 위해.
• 표현 능력, 운동 주파수, 다양성, 인지적 자연성 등을 평가하는 체계적인 평가 파이프라인을 수립하기 위해.
• 애니메이션, 비전, 합성 데이터셋 생성 등 응용 분야에서 계속 변화하는 현실적인 인간 운동을 생성함으로써 가능성을 열기 위해.

제안 방법

• 전역 이동과 신체 자세가 공유된 잠재 공간에서 상호 조건화되는 이중 스트림 변분 오토에인드어와 RNN이 사용된다.
• 모델은 추론 중에 추론 사후분포에서 샘플링된 확률적 잠재 변수를 사용하는 자동재귀적 생성 과정을 채택한다.
• 흰색 잡음 가우시안 과정의 KL 발산에 캐르보니에 페널티를 적용한 새로운 KL 발산 항이 도입되어, 잠재 시퀀스의 시간적 의존성을 암묵적으로 모델링한다.
• 이 잠재적 사전는 표준 정규분포에서 벗어나 시간적 동역학을 더 풍부하게 만들지만, 유효한 하한 경계 증거(ELBO)를 유지한다.
• 모델은 행동 레이블이나 사용자 입력 없이 운동 캡처 데이터(MPI-Mosh, HumanEva 등)에서 엔드 투 엔드로 훈련된다.
• 추론 중에는 잠재 변수 샘플링을 사용해 프레임 단위로 시퀀스를 생성하며, 이는 지속적이고 반복되지 않는 운동을 가능하게 한다.

실험 결과

연구 질문

• RQ1 딥 러닝 생성 모델은 임의의 장기간에 걸쳐 단일 초깃 자세에서부터 실제성 있고 반복되지 않는 인간 운동 시퀀스를 생성할 수 있는가?
• RQ2 명시적 사전이 없이 변분 오토에인드어의 잠재 공간에서 시간적 의존성을 효과적으로 모델링할 수 있는가?
• RQ3 제안된 KL 발산 정규화가 기존 VAE에 비해 후행 붕괴와 운동 다양성 향상에 얼마나 기여하는가?
• RQ4 자연성, 다양성, 주파수 특성 측면에서 최신 기준 모델과 비교해 모델 성능은 어떠한가?
• RQ5 지속적인 생성 10분 후에도 모델이 생성한 운동이 인지적으로 현실적으로 유지되는가?

주요 결과

• 제안된 방법은 72,000 프레임(10분)의 운동을 생성했으며, 여전히 타당하고 계속 변화하는 사지 자세를 보이며 지속적인 운동 능력을 입증했다.
• 아마존 Mechanical Turk에서 실시한 인지 평가에서, HumanEva에서는 평균 자연성 점수 3.44–3.47(5점 만점), MPI-Mosh에서는 3.31을 기록하여 모든 기준 모델을 능가했다.
• 모델은 가장 높은 다양성 점수를 기록했으며, 동일한 초깃 조건에서 3회 실행 시 표준편차가 0.15–0.22로 나타나 강력한 확률성과 반복 없음을 입증했다.
• 새로운 KL 발산 항이 후행 붕괴를 효과적으로 방지했으며, 안정적인 훈련과 고품질의 생성 결과로 이를 입증했다.
• 자연성, 다양성, 주파수 일관성 등 모든 평가 지표에서 두 개의 최신 기준 모델(VQ-α Res 및 S-Res)을 모두 능가했다.
• 결과는 모델 성능이 데이터셋 규모뿐 아니라 훈련 데이터 품질(예: ACCAD 대비 CMU)에 더 강하게 영향을 받는다는 점을 보여주었다.