[논문 리뷰] Aggregated Multi-GANs for Controlled 3D Human Motion Prediction

Zhenguang Liu, Kedi Lyu외 4명|arXiv (Cornell University)|2021. 03. 17.

Human Pose and Action Recognition참고 문헌 30인용 수 12

한 줄 요약

이 논문은 제어 가능한 3D 인간 운동 예측을 위한 새로운 프레임워크인 Aggregated Multi-GANs(AM-GAN)을 제안한다. 이는 다양한 동작과 신체 부위에서 미래 운동을 미세 조절할 수 있도록 한다. 인간 운동을 국소적인 운동학적 체인(척추 및 사지)으로 분해하고 각각을 별도의 GAN으로 모델링하며, 전역 GAN을 통해 통합함으로써, 단기 및 장기 예측 모두에서 최신 기술 수준(SOTA)의 성능을 달성한다. 또한 동작 전이 및 신체 부위별 제어를 지원한다.

ABSTRACT

Human motion prediction from historical pose sequence is at the core of many applications in machine intelligence. However, in current state-of-the-art methods, the predicted future motion is confined within the same activity. One can neither generate predictions that differ from the current activity, nor manipulate the body parts to explore various future possibilities. Undoubtedly, this greatly limits the usefulness and applicability of motion prediction. In this paper, we propose a generalization of the human motion prediction task in which control parameters can be readily incorporated to adjust the forecasted motion. Our method is compelling in that it enables manipulable motion prediction across activity types and allows customization of the human movement in a variety of fine-grained ways. To this aim, a simple yet effective composite GAN structure, consisting of local GANs for different body parts and aggregated via a global GAN is presented. The local GANs game in lower dimensions, while the global GAN adjusts in high dimensional space to avoid mode collapse. Extensive experiments show that our method outperforms state-of-the-art. The codes are available at https://github.com/herolvkd/AM-GAN.

연구 동기 및 목표

• 기존의 운동 예측 모델이 동일한 활동 내에서 단일이고 결정적인 미래 시퀀스만 예측할 수 있다는 한계를 해결하기 위해.
• 새로운 동작으로의 전환과 특정 신체 부위에 대한 세밀한 제어를 지원하는 제어 가능한 운동 생성을 가능하게 하기 위해.
• 국소화된 GAN을 활용한 분할-정복 전략을 적용하여 고차원 운동 생성의 복잡성을 줄이기 위해.
• 단기 및 장기 운동 예측 품질을 향상시키면서도 시간적 일관성과 자연스러운 역학을 유지하기 위해.
• 사용자 정의 가능한 다중 동작 및 다중 부위 제어를 갖춘 제어 가능한 3D 인간 운동 예측의 새로운 벤치마크를 설정하기 위해.

제안 방법

• 프레임워크는 중앙 척추용 하나, 사지 각각에 대해 하나씩 총 다섯 개인 하위 GAN을 포함한 계층적 GAN 아키텍처를 사용하여 국소적 운동 모델링을 가능하게 한다.
• 각 국소 GAN은 낮은 차원의 공간에서 해당 운동학적 체인에 대한 운동을 생성함으로써 복잡성을 감소시키고 학습 안정성을 향상시킨다.
• 전역 GAN은 고차원 자세 공간에서 국소 GAN의 출력을 통합하여 전체 운동의 일관성과 체인 간 역학의 균형을 확보한다.
• 생성기는 목표 동작 또는 신체 부위 행동을 지정하는 제어 파rameter에 조건화되어 있어, 동작 전이 및 세밀한 제어를 가능하게 한다.
• 단기 정확성과 장기 일관성을 동시에 최적화하기 위해 국소 및 전역 비평가를 함께 사용하여 모드 붕괴를 완화한다.
• 모델은 적대적 손실, 재구성 손실, 사이클 일관성 정규화를 사용하여 엔드 투 엔드로 훈련되어 실제적이고 다양한 운동 출력을 보장한다.

실험 결과

연구 질문

• RQ1 운동 예측 모델은 현재 활동과 다를 수 있는 다양한 실현 가능한 미래 운동 시퀀스를 생성할 수 있는가?
• RQ2 미래 운동 예측 중 개별 신체 부위에 대한 세밀한 제어를 지원할 수 있는가?
• RQ3 예를 들어 걷기에서 먹기로의 전환과 같이 한 동작에서 다른 동작으로 부드럽게 전이할 수 있는가?
• RQ4 운동 생성을 국소 운동학적 체인으로 분해함으로써 예측 성능과 제어 가능성은 향상되는가?
• RQ5 집계된 GAN 아키텍처는 단기 및 장기 운동 예측 모두에서 단일 GAN 또는 다중 GAN 기준선보다 우수한 성능을 낼 수 있는가?

주요 결과

• AM-GAN은 Human3.6M 데이터셋에서 단기 및 장기 예측 모두에서 새로운 최신 기술 수준(SOTA) 성능을 달성한다.
• 주기성이 낮고 운동이 불규칙한 복잡한 비주기적 동작(예: '의논하기')에 대해 예측 정확도가 크게 향상된다.
• 제거 실험 결과, 하위 GAN과 분할-정복 전략을 사용할 경우 단일 GAN보다 성능이 뛰어나며, 특히 복잡한 동작에서 두드러진다.
• 국소 비평자는 단기 예측 품질을 향상시키고, 전역 비평자는 장기 운동의 일관성과 일관성을 개선한다.
• 시각화 결과, HMR 및 QuaterNet에 비해 AM-GAN이 더 자연스럽고 부드럽고 현실적인 운동 시퀀스를 생성하는 것으로 나타났다.
• 프레임워크는 걷는 동작에서 먹기로의 합리적인 전이를 성공적으로 생성했으며, 신체 부위별 제어(예: 몸은 걷는 동안 오른팔만 먹기 동작을 수행)도 가능하게 했다.