[논문 리뷰] Action2Motion: Conditioned Generation of 3D Human Motions

Chuan Guo, Xinxin Zuo외 6명|arXiv (Cornell University)|2020. 07. 30.

Human Pose and Action Recognition참고 문헌 36인용 수 25

한 줄 요약

이 논문은 액션 카테고리에 따라 다양하고 자연스러운 3D 인간 운동 시퀀스를 생성하기 위해 리 군 대수를 활용해 인간 운동역학을 모델링하는 조건부 시간적 변동형 자동인코더(변동형 자동인코더, VAE)인 Action2Motion을 제안한다. 운동을 리 군 대수 공간에 인코딩하여 물리적 타당성을 강제하고 운동역학적 제약 조건을 분리함으로써, 새로 도입된 HumanAct12 데이터셋을 포함한 여러 벤치마크에서 운동의 다양성, 현실성, 사용자 선호도 측면에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Action recognition is a relatively established task, where givenan input sequence of human motion, the goal is to predict its ac-tion category. This paper, on the other hand, considers a relativelynew problem, which could be thought of as an inverse of actionrecognition: given a prescribed action type, we aim to generateplausible human motion sequences in 3D. Importantly, the set ofgenerated motions are expected to maintain itsdiversityto be ableto explore the entire action-conditioned motion space; meanwhile,each sampled sequence faithfully resembles anaturalhuman bodyarticulation dynamics. Motivated by these objectives, we followthe physics law of human kinematics by adopting the Lie Algebratheory to represent thenaturalhuman motions; we also propose atemporal Variational Auto-Encoder (VAE) that encourages adiversesampling of the motion space. A new 3D human motion dataset, HumanAct12, is also constructed. Empirical experiments overthree distinct human motion datasets (including ours) demonstratethe effectiveness of our approach.

연구 동기 및 목표

• 액션 카테고리에 조건부로 다양하고 자연스러운 3D 인간 운동 시퀀스를 생성하는 데 있어, 결정론적 또는 초기 자세에 의존하는 생성 방식을 넘어서는 도전에 대응한다.
• 리 군 대수를 활용해 운동역학적 제약 조건을 인코딩하고 뼈대 역학을 궤도 및 척도에서 분리함으로써 물리적 타당성을 갖춘 인간 운동을 모델링한다.
• 리 군 대수 표현을 통해 신체 형태(예: 뼈 길이)를 운동 패tern에서 분리함으로써 제어 가능한 운동 생성을 가능하게 한다.
• HumanAct12 데이터셋을 정제하고 기존 데이터셋을 변형함으로써 액션 조건부 3D 운동 생성을 위한 새로운 벤치마크를 구축한다.
• FID와 정확도를 넘어서 다양성, 다중모달성, 인간 인지 평가 지표를 포함하여 운동 품질을 평가한다.

제안 방법

• 해당 방법은 이전 자세의 사후 분포를 학습된 사전 확률로 사용하는 조건부 시간적 VAE를 활용하며, RNN을 통해 시간적 의존성을 모델링한다.
• 운동 시퀀스는 리 군 대수 공간에 표현되며, 이는 뼈대 해부학, 시간적 동역학, 척도를 분리하고 정방향 운동역학을 통해 물리적 타당성을 강제한다.
• VAE는 잠재 공간의 다양성을 장려하기 위해 KL 발산 항이 포함된 변동형 하한 근사(ELBO)를 최대화하도록 훈련된다.
• 리 군 대수의 사용은 더 컴act하고 유클리드 형태의 잠재 공간을 가능하게 하여 훈련 안정성과 수렴 속도를 향상시킨다—관절 좌표 기반 방법 대비 1/10의 반복 수로 평형에 도달한다.
• 해당 프레임워크는 리 군 대수 공간에서 뼈 길이를 직접 수정함으로써 제어 가능한 운동 생성을 지원하며, 재학습 없이도 다양한 신체 유형에 대해 동일한 운동을 합성할 수 있다.
• 모델은 세 가지 데이터셋에서 훈련 및 평가되며, HumanAct12(새로 도입된 데이터셋)와 두 개의 변형된 기존 데이터셋을 포함하고, 목적적 및 주관적 평가가 철저히 수행된다.

실험 결과

연구 질문

• RQ1 리 군 대수 표현을 활용한 조건부 VAE는 초기 자세가 필요 없이 액션 카테고리에서 다양하고 물리적으로 타당한 3D 인간 운동 시퀀스를 생성할 수 있는가?
• RQ2 리 군 대수 표현은 관절 좌표 표현 대비 운동 다양성과 현실성 모델링에서 어떻게 비교되는가?
• RQ3 모델은 액션 특이적 운동 패턴을 유지하면서 다양한 신체 유형 간에 얼마나 잘 일반화되는가?
• RQ4 기존 최신 기술 수준의 방법들과 비교해, FID, 다양성, 다중모달성 등의 목적적 지표에서 본 방법은 어떤가?
• RQ5 사용자 평가자들은 생성된 운동의 현실성과 액션 일치도를 실제 데이터와 비교해 어떻게 평가하는가?

주요 결과

• Action2Motion는 실재 운동 데이터에 가장 가까운 높은 다양성 및 다중모달성 점수를 기록하며, 리 군 대수 표현이 없는 기준선을 모두 능가한다.
• 리 군 대수 표현의 도입으로 기준선(w/o Lie)에서 관찰된 비정상적으로 높은 다중모달성 점수를 감소시켜 더 균형 잡히고 현실적인 운동 분포를 확보한다.
• 사용자 선호도 연구에서 Action2Motion가 생성한 운동의 64%가 상위 두 순위 내에 랭크되었으며, 조건부 RNN 및 이단계 GAN을 포함한 다른 방법들보다 뚜렷이 뛰어난 성능을 보였다.
• 사람이 구분하는 실험에서, Action2Motion가 생성한 운동의 58%가 실제 운동으로 판단되었으며, 실제 운동 기준선보다 단지 3% 낮게 평가되어 높은 인지적 현실감을 입증했다.
• 리 군 대수 공간에서 뼈 길이를 수정함으로써 제어 가능한 운동 생성이 가능해졌으며, 재학습 없이도 다양한 신체 유형에 대해 동일한 운동을 합성할 수 있다.
• 리 군 대수 표현을 활용한 훈련은 수렴 속도를 가속화하여 관절 좌표 기반 훈련에 비해 약 1/10의 반복 수로 평형 상태에 도달한다.