[논문 리뷰] Action2Motion

Chuan Guo, Xinxin Zuo외 6명|arXiv (Cornell University)|2020. 10. 12.

Human Pose and Action Recognition참고 문헌 28인용 수 9

한 줄 요약

이 논문은 동작 레이블을 조건으로 하여 다양한 자연스러운 3D 인간 운동 시퀀스를 합성하는 물리 기반의 생성 모델인 Action2Motion를 제안한다. 운동학적 모델링을 위해 리 대수를 활용하고, 분리된 잠재 공간을 가진 시간적 VAE를 사용함으로써, 다양한 동작 유형에서 신뢰성 있고 다양성 있는 운동 생성이 가능해지며, HumanAct12 신규 벤치마크를 포함한 세 가지 데이터셋에서 검증되었다.

ABSTRACT

Action recognition is a relatively established task, where given an input sequence of human motion, the goal is to predict its action category. This paper, on the other hand, considers a relatively new problem, which could be thought of as an inverse of action recognition: given a prescribed action type, we aim to generate plausible human motion sequences in 3D. Importantly, the set of generated motions are expected to maintain its diversity to be able to explore the entire action-conditioned motion space; meanwhile, each sampled sequence faithfully resembles a natural human body articulation dynamics. Motivated by these objectives, we follow the physics law of human kinematics by adopting the Lie Algebra theory to represent the natural human motions; we also propose a temporal Variational Auto-Encoder (VAE) that encourages a diverse sampling of the motion space. A new 3D human motion dataset, HumanAct12, is also constructed. Empirical experiments over three distinct human motion datasets (including ours) demonstrate the effectiveness of our approach.

연구 동기 및 목표

• 동작 레이블에서 다양한 현실적인 3D 인간 운동 시퀀스를 생성함으로써 역동작 인식 문제를 해결한다.
• 인간 운동학을 리 대수 이론을 사용하여 모델링하여 생성된 운동이 물리적으로 타당함을 보장한다.
• 시간적 동역학과 운동 콘텐츠를 분리한 잠재 표현을 통해 운동 공간의 다양성을 유지하면서도 자연스러운 신체 운동 역학을 유지한다.
• 행동 조건부 운동 생성 연구를 지원하기 위해 새로운 고품질 3D 인간 운동 데이터셋인 HumanAct12을 구축한다.
• 다양한 데이터셋에서 모델을 평가하여 다양한 동작에 일관된 운동 생성 능력과 일반화 능력을 입증한다.

제안 방법

• 신체 관절의 회전 운동을 정확히 캡처하기 위해 인간 운동을 리 대수로 표현함으로써 물리적 타당성을 확보한다.
• 순차적 운동을 모델링하고 다양성을 유도하기 위해 구조화된 잠재 공간을 가진 시간적 변분 오토인코더(VAE)를 설계한다.
• 운동 콘텐츠와 시간적 동역학을 분리한 분리된 잠재 표현을 사용하여 더 나은 제어와 생성 성능를 확보한다.
• 행동 조건부 운동 시퀀스에서 끝에서 끝까지 훈련하여 레이블에서 3D 운동 궤적으로의 매핑을 학습한다.
• 샘플링 중 자연스러운 인간 운동 패턴을 유지하기 위해 잠재 공간에 운동학적 제약을 통합한다.
• 이 작업을 위해 특별히 수집된 HumanAct12 데이터셋을 사용하여 다양한 동작 조건에서 모델을 훈련하고 평가한다.

실험 결과

연구 질문

• RQ1 딥 생성 모델이 동작 레이블을 조건으로 하여 다양한 자연스러운 3D 인간 운동 시퀀스를 생성할 수 있는가?
• RQ2 리 대수 표현이 운동 생성 프레임워크 내에서 인간 운동학적 동역학을 얼마나 효과적으로 캡처하는가?
• RQ3 시간적 VAE 아키텍처가 운동의 자연스러움과 타당성을 유지하면서도 얼마나 다양성을 증진하는가?
• RQ4 제안된 방법이 새로운 벤치마크를 포함한 다양한 3D 운동 데이터셋에서 얼마나 일반화 가능한가?
• RQ5 물리 기반 모델링이 생성된 인간 운동의 품질과 현실성에 어떤 영향을 미치는가?

주요 결과

• 제안된 Action2Motion 모델은 지정된 동작 카테고리와 일관되며 현실적인 다양한 3D 인간 운동 시퀀스를 생성한다.
• 리 대수의 사용은 자세한 관절의 회전 운동학을 정확히 캡처함으로써 생성된 운동의 물리적 타당성을 크게 향상시킨다.
• 시간적 VAE 아키텍처는 운동 품질이나 자연스러움을 희생시키지 않으면서도 운동 공간의 다양성을 효과적으로 장려한다.
• HumanAct12를 포함한 세 가지 데이터셋에서의 경험적 평가를 통해 모델의 뛰어난 성능과 일반화 능력이 확인된다.
• 모델는 인간 운동 역학에 충실하면서도 다양성을 확보하는 운동 시퀀스 생성에서 베이스라인 방법을 능가한다.