[논문 리뷰] Modiff: Action-Conditioned 3D Motion Generation with Denoising Diffusion Probabilistic Models

Mengyi Zhao, Mengyuan Liu외 3명|arXiv (Cornell University)|2023. 01. 10.

Human Motion and Animation인용 수 5

한 줄 요약

Modiff는 동작 카테고리를 입력으로 사용하여 다양한 실존적인 스켈레톤 시퀀스를 합성하기 위한 조건부 3D 운동 생성을 위한 노이즈 제거 확산 확률 모델(DDPM)을 제안한다. NTU RGB+D 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성하여 Kinetic-GAN⋆ 대비 FMD를 64.49 감소시켰으며, 다양성과 현실성 면에서 이전 방법들을 능가한다.

ABSTRACT

Diffusion-based generative models have recently emerged as powerful solutions for high-quality synthesis in multiple domains. Leveraging the bidirectional Markov chains, diffusion probabilistic models generate samples by inferring the reversed Markov chain based on the learned distribution mapping at the forward diffusion process. In this work, we propose Modiff, a conditional paradigm that benefits from the denoising diffusion probabilistic model (DDPM) to tackle the problem of realistic and diverse action-conditioned 3D skeleton-based motion generation. We are a pioneering attempt that uses DDPM to synthesize a variable number of motion sequences conditioned on a categorical action. We evaluate our approach on the large-scale NTU RGB+D dataset and show improvements over state-of-the-art motion generation methods.

연구 동기 및 목표

• 행동 유형에 조건부로 다양한 실존적인 제어 가능한 3D 인간 운동 시퀀스를 생성하는 문제를 해결하기 위해.
• 확산 확률 모델이 스켈레톤 기반 운동 생성 분야에서 아직 탐색되지 않은 분야에서 잠재력을 탐색하기 위해.
• 더 나은 샘플 품질과 다양성을 확보하기 위해 DDPM의 노이즈 제거 과정을 활용하여 기존 생성 모델의 운동 합성 성능을 향상시키기 위해.
• 조건부 역방향 마르코프 체인을 사용하여 일관된 행동 의미를 유지하는 가변 길이의 운동 시퀀스 생성을 가능하게 하기 위해.
• 대규모 데이터셋에서 확산 모델을 사용하여 행동 조건부 3D 운동 생성의 새로운 SOTA 기준을 설정하기 위해.

제안 방법

• Modiff는 3D 스켈레톤 시퀀스에 점진적으로 가우시안 노이즈를 추가하는 전방 노이징 과정을 학습하기 위해 노이즈 제거 확산 확률 모델(DDPM)을 사용한다.
• 역방향 과정은 행동 카테고리에 조건부로 설정된 클래스 조건부 레이블 임베딩을 통해 U-Net 아키텍처를 사용하여 단계적으로 시퀀스를 노이즈 제거한다.
• 학습 및 추론 중 3D 스켈레톤 시퀀스는 컨볼루션 연산을 활용하기 위해 2D 공간-시간 특징 맵으로 간주된다.
• 노이즈 제거 과정 중 공간적 및 시간적 일관성을 유지하기 위해 스케일 연결 기반의 조건부 U-Net을 사용한다.
• 노이즈 제거 과정을 감독하기 위해 L1 및 L2 손실 함수의 조합을 사용하며, 분석 결과 L1 손실이 더 낮은 FMD 점수를 제공함을 확인했다.
• 행동 레이블은 Ho 등 [34]의 방법에 기반한 학습 가능한 임베딩 레이어를 사용하여 임베딩된다. 이는 이전의 레이블 임베딩 기법보다 성능 향상을 이룬다.

실험 결과

연구 질문

• RQ1 노이즈 제거 확산 모델은 행동 카테고리에 조건부로 다양한 실존적인 3D 인간 운동 시퀀스를 효과적으로 생성할 수 있는가?
• RQ2 손실 함수 선택(L1 대비 L2)은 생성된 운동 시퀀스의 품질과 다양성에 어떤 영향을 미치는가?
• RQ3 다양한 U-Net 아키텍처(예: 깊이 및 너비)의 선택은 운동 생성 성능에 어떤 영향을 미치는가?
• RQ4 레이블 임베딩 전략은 모델의 다양한 행동 클래스에 대한 일반화 능력에 어떤 영향을 미치는가?
• RQ5 확산 모델은 기존의 GAN 기반 및 VAE 기반 접근 방식보다 행동 조건부 3D 운동 생성에서 승리할 수 있는가?

주요 결과

• Modiff는 NTU RGB+D 데이터셋에서 FMD 점수 9.42 ± 0.00을 기록하여 Kinetic-GAN⋆(FMD = 73.91)와 Kinetic-GAN-MLP8(FMD = 82.88)를 크게 앞서며 성능을 뛰어나게 했다.
• 아블레이션 연구 결과 L1 손실을 사용할 경우 L2 손실 대비 FMD가 6.28 감소하여 재구성 정밀도가 향상됨을 확인했다.
• U-Net의 잠재 채널 수를 16에서 64로 증가시킬 경우 FMD가 145.74 감소하여 표현력 있는 잠재 표현의 중요성을 입증했다.
• Ho 등 [34]의 방법에 기반한 레이블 임베딩은 [29]에서 사용된 방법 대비 FMD를 0.3 향상시켜 조건부 모델링에서의 효과성을 확인했다.
• 정성적 결과에서는 Modiff가 일관된 리듬, 현실적인 관절 역학, 명확한 행동 의미(예: 'Salute', 'Cross hands in front')를 갖춘 운동 시퀀스를 생성하는 것으로 나타났다.
• 개선된 성능에도 불구하고 일부 샘플은 진동 또는 조기/지속적 크래시 현상을 보이며 시간적 안정성 향상 여전히 개선이 필요함을 시사한다.