[논문 리뷰] LongDanceDiff: Long-term Dance Generation with Conditional Diffusion Model

Siqi Yang, Zejun Yang외 1명|arXiv (Cornell University)|2023. 08. 23.

Human Motion and AnimationEngineering인용 수 3

한 줄 요약

LongDanceDiff는 음악과 과거 동작을 기반으로 시간적으로 일관되고 다양한 3D 춤 운동을 생성하는 조건부 확산 모델을 제안한다. 부분 노이즈 처리, 상호정보 최소화, 글로벌 트레이젝터리 모odulation(GTM) 레이어를 통합한 트랜스포머 기반 확산 모델을 사용함으로써, 동결 및 발슬라이딩 문제를 줄이고 장기적 춤 생성 과제에서 최고 수준의 운동 품질과 다양성 성능을 달성한다.

ABSTRACT

Dancing with music is always an essential human art form to express emotion. Due to the high temporal-spacial complexity, long-term 3D realist dance generation synchronized with music is challenging. Existing methods suffer from the freezing problem when generating long-term dances due to error accumulation and training-inference discrepancy. To address this, we design a conditional diffusion model, LongDanceDiff, for this sequence-to-sequence long-term dance generation, addressing the challenges of temporal coherency and spatial constraint. LongDanceDiff contains a transformer-based diffusion model, where the input is a concatenation of music, past motions, and noised future motions. This partial noising strategy leverages the full-attention mechanism and learns the dependencies among music and past motions. To enhance the diversity of generated dance motions and mitigate the freezing problem, we introduce a mutual information minimization objective that regularizes the dependency between past and future motions. We also address common visual quality issues in dance generation, such as foot sliding and unsmooth motion, by incorporating spatial constraints through a Global-Trajectory Modulation (GTM) layer and motion perceptual losses, thereby improving the smoothness and naturalness of motion generation. Extensive experiments demonstrate a significant improvement in our approach over the existing state-of-the-art methods. We plan to release our codes and models soon.

연구 동기 및 목표

• 자기회귀 모델에서 발생하는 오차 누적과 학습-추론 불일치로 인한 장기적 3D 춤 생성 시 동결 문제를 해결하기 위해.
• 특히 2분 분량의 시퀀스까지 적용 가능한 음악 조건부 3D 춤 생성에서 시간적 일관성과 공간적 현실감을 향상시키기 위해.
• 과거 동작에 대한 과도한 의존도를 줄이고 과적합 및 비자연스러운 운동 패tern을 방지하기 위해 운동 다양성을 향상시키기 위해.
• 발슬라이딩과 부드럽지 않은 운동 등의 시각적 아티팩트를 공간 제약 조건과 지각 손실을 통해 수정하기 위해.
• 고해상도 운동을 유지하면서도 다양한 자연스러운 춤 시퀀스를 생성할 수 있는 비자기회귀형, 시퀀스-투-시퀀스 생성 프레임워크를 개발하기 위해.

제안 방법

• 입력으로 음악, 과거 동작, 노이즈 처리된 미래 동작를 연결하여 다중 모odal 간의 종합적 의존성 모델링이 가능한 트랜스포머 기반 조건부 확산 모델을 사용한다.
• 미래 동작에 부분 노이즈 처리 전략을 적용하여, 음악과 과거 운동 컨텍스트를 조건으로 하여 노이즈 제거를 수행한다.
• 과거와 미래 동작 간의 상호정보 최소화 목적함수를 도입하여, 동작 간 의존성을 감소시켜 다양성을 증진하고 동결 현상을 줄인다.
• 공간 제약 조건을 강제로 적용하기 위해 글로벌 트레이젝터리 모odulation(GTM) 레이어를 통합하여 발슬라이딩을 방지하고 전반적인 운동 궤적의 현실감을 향상시킨다.
• 위치와 속도 기반의 운동 지각 손실을 사용하여 생성된 운동이 인간의 운동 특징과 일치하도록 하여 운동의 부드러움과 자연스러움을 향상시킨다.
• 재구성 손실, 지각 손실, 상호정보 정규화를 조합하여 종합적으로 학습함으로써 정밀도와 다양성의 균형을 맞춘다.

실험 결과

연구 질문

• RQ1 조건부 확산 모델이 높은 시간적 일관성과 공간적 현실감을 갖춘 장기적 3D 춤 시퀀스를 효과적으로 생성할 수 있는가?
• RQ2 과거와 미래 동작 간의 상호정보 최소화는 장수평 시퀀스 생성에서 다양성 향상과 동결 현상 감소에 어떻게 기여하는가?
• RQ3 GTM 레이어를 통한 공간 제약 조건이 발슬라이딩을 얼마나 줄이고 전반적인 운동 궤적의 정확도를 향상시키는가?
• RQ4 운동 지각 손실의 통합은 생성된 춤 운동의 부드러움과 지각적 품질에 어떤 영향을 미치는가?
• RQ5 LongDanceDiff는 자동회귀 및 비자기회귀 기반 베이스라인 대비 운동 품질, 다양성, 음악 동기화 측면에서 어떻게 성능을 냈는가?

주요 결과

• 사용자 연구의 90%에서 LongDanceDiff는 우수한 시간적 일관성과 동결 감소로 인해 FACT, Li et al., 그리고 Revolution을 모두 능가했다.
• 81%의 경우에서 Bailando를 능가했으며, 주로 뼈 길이 생성의 일관성과 더 나은 운동 다양성 덕분이었다.
• 고다양성 설정에서 LongDanceDiff는 Sun et al.를 75%의 비교에서 앞서며 개선된 운동 다양성을 입증했다.
• 60%의 경우에서 EDGE를 능가했으며, 더 나은 운동 일관성과 스타일 일관성 덕분이었지만, 여전히 42%의 진짜 동작은 더 높은 평가를 받았다.
• 상호정보 최소화로 인해 동결 비율이 27.5%에서 24.2%로 감소하여 과거 동작에 대한 과도한 의존도 감소 효과를 확인했다.
• GTM 레이어로 인해 운동 역학적 및 기하학적 특성의 FID 점수가 크게 향상되어 전반적인 궤적의 현실감이 향상되었지만, 다소의 다양성 감소가 수반되었다.