[논문 리뷰] Pretrained Diffusion Models for Unified Human Motion Synthesis

Jianxin Ma, Shuai Bai외 1명|arXiv (Cornell University)|2022. 12. 06.

Human Pose and Action Recognition인용 수 11

한 줄 요약

MoFusion은 Transformer 기반의 사전 훈련된 확산 모델을 사용하여 다양한 제어 신호(예: 텍스트 및 음악)의 제로샷 혼합을 가능하게 하고, 텍스트에서 운동으로, 운동 완성, 인버스 키네마틱스와 같은 다중 분해능 작업을 지원하는 통합된 인간 운동 합성 프레임워크를 제안한다. 사전 훈련을 통해 더 큰 모델로의 확장이 가능해지며, 과적합을 방지할 수 있고, 학습 가능한 스켈레톤 어댑터는 데이터셋 간 스켈레톤 불일치를 보완한다.

ABSTRACT

Generative modeling of human motion has broad applications in computer animation, virtual reality, and robotics. Conventional approaches develop separate models for different motion synthesis tasks, and typically use a model of a small size to avoid overfitting the scarce data available in each setting. It remains an open question whether developing a single unified model is feasible, which may 1) benefit the acquirement of novel skills by combining skills learned from multiple tasks, and 2) help in increasing the model capacity without overfitting by combining multiple data sources. Unification is challenging because 1) it involves diverse control signals as well as targets of varying granularity, and 2) motion datasets may use different skeletons and default poses. In this paper, we present MoFusion, a framework for unified motion synthesis. MoFusion employs a Transformer backbone to ease the inclusion of diverse control signals via cross attention, and pretrains the backbone as a diffusion model to support multi-granularity synthesis ranging from motion completion of a body part to whole-body motion generation. It uses a learnable adapter to accommodate the differences between the default skeletons used by the pretraining and the fine-tuning data. Empirical results show that pretraining is vital for scaling the model size without overfitting, and demonstrate MoFusion's potential in various tasks, e.g., text-to-motion, motion completion, and zero-shot mixing of multiple control signals. Project page: \url{https://ofa-sys.github.io/MoFusion/}.

연구 동기 및 목표

• 텍스트에서 운동으로, 운동 완성, 인버스 키네마틱스와 같은 다양한 인간 운동 합성 작업을 하나의 확장 가능한 모델로 통합하는 것.
• 다양한 데이터셋에서의 대규모 사전 훈련을 통해 운동 모델링에서의 데이터 부족과 과적합 문제를 해결하는 것.
• 공동 감독 없이도 제어 신호(예: 텍스트 및 음악)를 결합하여 제로샷 스킬 조합을 가능하게 하는 것.
• 사전 훈련 및 파인튜닝 데이터 간의 스켈레톤 및 기본 자세의 차이를 학습 가능한 스켈레톤 어댑터를 통해 처리하는 것.
• 대규모 모델이 제한된 데이터로도 과적합 없이 효과적으로 훈련될 수 있음을 보여주는 것—다양한 운동 데이터에서의 다중 작업 사전 훈련을 통해

제안 방법

• MoFusion은 텍스트, 음악, 관절 위치와 같은 다양한 제어 신호를 조건으로 삼는 크로스 어텐션을 사용하는 Transformer 기반의 확산 모델을 사용한다.
• 모델은 확산 손실의 x₀-예측 변형을 사용하여 대규모 운동 데이터 코퍼스에서 사전 훈련되며, 데이터는 히우리스틱적으로 SMPL-H 유사 스켈레톤으로 재타겟된다.
• 학습 가능한 스켈레톤 어댑터는 사전 훈련 및 파인튜닝 데이터 간의 관절 표현을 정렬하고 기본 자세의 차이를 보완한다.
• 이 프레임워크는 다중 분해능 합성을 지원한다: 전체 몸통의 완전한 노이즈 제거를 통한 전체 신체 생성, 특정 신체 부위의 마스크된 노이즈 제거를 통한 부분 수정.
• 교대로 제어 전략을 통해 노이즈 제거 과정에서 다양한 인코더에 번갈아가며 어텐션을 적용함으로써 다중 제어 신호의 제로샷 혼합을 가능하게 한다.
• 운동 간섭 작업에서의 불연속성을 줄이기 위해 델타 인페이팅 손실 및 파인튜닝 목표함수와 같은 후처리 기법이 적용된다.

실험 결과

연구 질문

• RQ1 일관된 단일 모델이 다양한 제어 신호와 목표 분해능을 가진 다양한 운동 합성 작업을 효과적으로 처리할 수 있는가?
• RQ2 다양한 운동 데이터에서의 다중 작업 사전 훈련이, 공동 감독 없이도 텍스트와 음악 제어를 조합하는 제로샷 일반화를 가능하게 하는가?
• RQ3 제한된 데이터로도 각 작업에 대해 과적합 없이 대규모 운동 모델을 효과적으로 훈련시킬 수 있는가?
• RQ4 학습 가능한 스켈레톤 어댑터가 수동 타겟팅이나 단순 MLP보다 데이터셋 간 스켈레톤 차이를 다루는 데 얼마나 효과적인가?
• RQ5 사전 훈련이 모델 크기를 늘릴 때도 다운스트림 작업 성능을 유지하는 데 얼마나 기여하는가?

주요 결과

• 사전 훈련을 통해 모델 크기의 효과적 확장이 가능하다—예를 들어, 250M 모델이 사전 훈련 없이 훈련된 더 작은 모델보다 우수한 성능을 보이며, 과적합이 대규모 사전 훈련을 통해 완화될 수 있음을 시사한다.
• 제안된 스켈레톤 어댑터는 수동 타겟팅과 경쟁 가능한 성능을 달성하며, 사전 훈련 없이 일반화 실패를 보이는 단순 MLP 기반 베이스라인보다도 뚜렷한 성능 향상을 보인다.
• MoFusion은 텍스트 및 음악 제어 신호의 제로샷 혼합에 대해 일관된 운동을 성공적으로 생성하며, 하이퍼파ram터 γ가 신호 간 균형을 효과적으로 제어함을 확인했다.
• 델타 인페이팅 및 파인튜닝 목표함수는 간섭 작업에서 운동의 불연속성을 크게 감소시키며, 표준 RePaint 및 기존 베이스라인 방법보다 뛰어난 성능을 보였다.
• 실험 결과 MoFusion이 텍스트에서 운동으로, 운동 완성, 인버스 키네마틱스 등 다양한 작업으로 일반화되며 일관된 성능 향상을 보임을 입증했다.