[논문 리뷰] Executing your Commands via Motion Diffusion in Latent Space

Xin Chen, Biao Jiang외 6명|arXiv (Cornell University)|2022. 12. 08.

Human Pose and Action Recognition인용 수 14

한 줄 요약

이 논문은 변분 오토인코더(VAE)를 통해 학습된 저차원 잠재공간에서 확산모델링을 적용함으로써 고품질이고 다양한 인간 운동 시퀀스를 생성하는 Motion Latent-based Diffusion(MLD)을 제안한다. 원시 운동 시퀀스가 아닌 운동 잠재공간에서 작동하기 때문에 MLD는 이전의 원시 데이터 기반 확산모델보다 두 배수 정도 빠른 추론 속도를 달성하면서도 최신 기술 수준(SOTA)의 성능을 보인다.

ABSTRACT

We study a challenging task, conditional human motion generation, which produces plausible human motion sequences according to various conditional inputs, such as action classes or textual descriptors. Since human motions are highly diverse and have a property of quite different distribution from conditional modalities, such as textual descriptors in natural languages, it is hard to learn a probabilistic mapping from the desired conditional modality to the human motion sequences. Besides, the raw motion data from the motion capture system might be redundant in sequences and contain noises; directly modeling the joint distribution over the raw motion sequences and conditional modalities would need a heavy computational overhead and might result in artifacts introduced by the captured noises. To learn a better representation of the various human motion sequences, we first design a powerful Variational AutoEncoder (VAE) and arrive at a representative and low-dimensional latent code for a human motion sequence. Then, instead of using a diffusion model to establish the connections between the raw motion sequences and the conditional inputs, we perform a diffusion process on the motion latent space. Our proposed Motion Latent-based Diffusion model (MLD) could produce vivid motion sequences conforming to the given conditional inputs and substantially reduce the computational overhead in both the training and inference stages. Extensive experiments on various human motion generation tasks demonstrate that our MLD achieves significant improvements over the state-of-the-art methods among extensive human motion generation tasks, with two orders of magnitude faster than previous diffusion models on raw motion sequences.

연구 동기 및 목표

• 원시 운동 시퀀스와 자연어 기술 등과 같이 분포가 크게 다른 모odal 간의 확률적 매핑을 학습하는 데 도전하는 것 — 특히 분포의 차이가 크기 때문에.
• 원시 운동 캡처 데이터의 부족함과 노이즈로 인한 계산 오버헤드를 줄이기 위해 조건부 인간 운동 생성의 학습 및 추론 과정에서의 비용을 최소화하는 것.
• 원시 운동 시퀀스를 직접 모델링하는 것을 피하여 노이즈와 아티팩트를 증폭시키는 것을 방지함으로써 생성 품질과 다양성을 향상시키는 것.
• 대규모이고 약한 레이블이 부여된 운동 데이터셋(예: AMASS)에서 사전학습된 운동 VAE를 통해 효율적인 파라미터 조정과 전이학습을 가능하게 하는 것.
• 텍스트에서 이미지로의 생성에 성공한 바를 참고로, 운동 생성에 대해 잠재공간 기반의 확산모델링의 효과성을 탐색하여 더 빠르고 고품질의 결과를 도출하는 것.

제안 방법

• 인간 운동 시퀀스를 위한 압축적이고 대표적이며 저차원의 잠재 코드를 학습하기 위해 UNet 유사 스킵 연결을 갖춘 트랜스포머 기반 VAE를 설계한다.
• 대규모이고 약한 레이블이 부여된 운동 데이터셋(예: AMASS)에서 운동 VAE를 학습하여 후속 조건부 생성 이전에 고정보 밀도의 잠재공간을 추출한다.
• 원시 운동 시퀀스가 아닌 학습된 운동 잠재코드에 조건부 확산모델을 적용하여 효율적이고 안정적인 학습 및 추론을 가능하게 한다.
• 교차 어텐션 또는 연결을 사용하여 텍스트나 액션 클래스 임베딩을 조건으로 하여 확산 노이즈 제거기의 입력으로 활용하며, 스킵 연결을 통해 특징 전파를 향상시킨다.
• 잠재코드에 노이즈 스케줄을 반전시키는 방식으로 확산모델을 학습하여, 무작위 노이즈에서 운동 일관성이 있는 잠재 시퀀스로의 노이즈 제거 능력을 학습한다.
• 잠재 샘플링과 확산 샘플링을 각각 무조건적 및 조건부 운동 생성에 사용하며, 잠재 차원 수와 모델 깊이에 대한 분석도 수행한다.

Figure 1 : Our Motion Latent-based Diffusion (MLD) model can achieve high-quality and diverse motion generation given a text prompt. The darker colors indicate the later in time, and the colored words refer to the motions with same colored trajectory.

실험 결과

연구 질문

• RQ1 학습된 운동 잠재공간에서의 확산모델링이 원시 운동 시퀀스에 직접 적용하는 것보다 생성 품질과 추론 속도 측면에서 뛰어난가?
• RQ2 잠재코드의 차원 수가 생성된 운동 시퀀스의 다양성과 정확도에 어떤 영향을 미치는가?
• RQ3 확산 노이즈 제거기에 스킵 연결을 통합하면 잠재공간 내에서의 운동 생성 품질이 향상되는가?
• RQ4 약한 레이블이 부여된 데이터에서 사전학습된 운동 VAE는 최소한의 파라미터 조정으로도 효과적인 후속 조건부 운동 생성을 가능하게 하는가?
• RQ5 원시 시퀀스 기반 확산모델 대비 잠재공간 기반 확산모델은 인간 운동 생성에서 계산 오버헤드를 얼마나 줄이는가?

주요 결과

• MLD는 HumanML3D 벤치마크에서 Fréchet Inception Distance(FID) 1.055를 기록하여 이전 최신 기술 수준의 방법들인 MDM(8.848)과 ACTOR(14.14)를 크게 앞서며 뛰어난 성능을 보였다.
• MLD는 비교된 모든 방법 중에서 가장 높은 다양성 점수 8.577을 기록하여 더 뛰어난 운동 다양성과 현실성 확보를 입증했다.
• 가장 작은 잠재코드(z ∈ ℝ¹×²⁵⁶)를 가진 모델이 가장 뛰어난 성능을 보였으며, 이는 저차원이면서도 고정보 밀도의 잠재공간이 운동 확산에 최적임을 시사한다.
• 확산 노이즈 제거기에 스킵 연결을 통합한 모델은 이를 포함하지 않은 모델 대비 FID에서 1.5배, 다양성에서 1.2배 향상된 성능을 기록했다.
• MLD는 추론 시간을 두 배수 감소시켰으며, 단일 Tesla V100에서 평균 0.24초/샘플의 빠른 속도를 기록하여 MDM의 24.74초 대비 약 100배 빠른 속도를 확보했다.
• 모델는 다양한 메트릭(예: FID, 다양성, Inception Score)에서 조건부 및 무조건적 운동 생성 작업 전반에 걸쳐 뛰어난 일반화 능력을 보였으며, 일관된 성능 향상을 보였다.

Figure 2 : Method overview: MLD consists of a VAE model $\mathcal{V}$ ( Sec. 3.1 ) and a latent diffusion model $\epsilon_{\theta}$ ( Sec. 3.2 ) conditioned on text or action embedding $\tau_{\theta}$ ( Sec. 3.3 ). We propose two-stage training: first learn $\mathcal{V}$ for Motion Representations i