[논문 리뷰] EDGE: Editable Dance Generation From Music

Jonathan Tseng, Rodrigo Castellon외 1명|arXiv (Cornell University)|2022. 11. 19.

Music Technology and Sound Studies인용 수 4

한 줄 요약

EDGE는 음악에 따라 편집 가능하고 물리적으로 타당한 춤 동작을 생성하는 확산 기반 생성 모델로, Jukebox를 통해 음성 특징을 활용하고 트랜스포머 아키텍처를 통해 관절별 조건부 설정과 보간 기능을 구현한다. 새로운 물리적 발 접촉 점수를 통해 최신 기술 수준의 성능을 달성하였으며, 사용자 연구를 통해 이전 방법들보다 열등한 품질을 검증하였다.

ABSTRACT

Dance is an important human art form, but creating new dances can be difficult and time-consuming. In this work, we introduce Editable Dance GEneration (EDGE), a state-of-the-art method for editable dance generation that is capable of creating realistic, physically-plausible dances while remaining faithful to the input music. EDGE uses a transformer-based diffusion model paired with Jukebox, a strong music feature extractor, and confers powerful editing capabilities well-suited to dance, including joint-wise conditioning, and in-betweening. We introduce a new metric for physical plausibility, and evaluate dance quality generated by our method extensively through (1) multiple quantitative metrics on physical plausibility, beat alignment, and diversity benchmarks, and more importantly, (2) a large-scale user study, demonstrating a significant improvement over previous state-of-the-art methods. Qualitative samples from our model can be found at our website.

연구 동기 및 목표

• 음악에 동기화되고 물리적으로 타당하며 장시간 지속되는 실제적인 춤 동작을 생성하는 방법을 개발하는 것.
• 기존 평가 지표의 한계를 해결하기 위해 발 접촉 일관성에 기반한 새로운 물리적 기반 지표를 제안하는 것.
• 통합된 생성 프레임워크 내에서 관절별 조건부 설정과 보간 기능을 포함한 강력한 편집 기능을 제공하는 것.
• 정량적 지표와 대규모 사용자 평가를 통해 이전 최신 기술 수준을 초월하는 춤 생성 품질을 향상시키는 것.

제안 방법

• 음악 임베딩을 조건으로 하여 무작위 노이즈에서 잠재 춤 시퀀스를 노이즈 제거하는 트랜스포머 기반 확산 모델을 훈련한다.
• 사전 훈련된 음악 생성 모델인 Jukebox가 확산 과정의 교차 어텐션 컨텍스트로 고수준 음성 표현을 제공한다.
• 시간 단계 간 일관된 발 접촉 행동을 강제함으로써 발 스트레칭을 줄이기 위해 새로운 접촉 일관성 손실을 도입한다.
• 물리 기반의 가속도 기반 지표인 물리적 발 접촉 점수(PFC)를 제안하여 동적 시뮬레이션 없이도 물리적 타당성을 평가한다.
• 관절별 조건부 설정과 보간을 통해 편집 가능한 생성을 지원하여 사용자가 지정한 운동 제약 조건을 구현한다.
• 장기적인 시퀀스는 국소적으로 일관된 짧은 클립을 연결하여 생성함으로써 임의의 길이 출력이 가능하다.

Figure 2 : EDGE Pipeline Overview: EDGE learns to denoise dance sequences from time $t=T$ to $t=0$ , conditioned on music. Music embedding information is provided by a frozen Jukebox model [ 5 ] and acts as cross-attention context. EDGE takes a noisy sequence $\bm{z}_{T}\sim\mathcal{N}(0,\bm{I})$ an

실험 결과

연구 질문

• RQ1 확산 기반 모델이 음악에 동기화되고 물리적으로 타당하며 장시간 지속되는 춤 시퀀스를 강력한 편집 기능과 함께 생성할 수 있는가?
• RQ2 기존의 자동 평가 지표가 사용자 평가 품질을 정확히 반영하는가?
• RQ3 물리 기반 시뮬레이션 없이도 PFC와 같은 학습된 지표가 운동 역학에서 물리적 타당성을 효과적으로 포착할 수 있는가?
• RQ4 수동으로 설계된 음성 특징에 비해 Jukebox 특징의 통합이 춤 생성 품질을 얼마나 향상시키는가?
• RQ5 관절별 조건부 설정과 보간과 같은 편집 기능이 사용자 통제력과 운동 품질을 얼마나 향상시키는가?

주요 결과

• EDGE는 AIST++ 데이터셋에서 최신 기술 수준의 성능을 달성하였으며, 사용자 연구에서 이전 방법들보다 뚜렷이 뛰어난 성능을 보였다.
• 물리적 발 접촉 점수(PFC)는 발 스트레칭을 효과적으로 식별하고 보상함으로써 물리적 타당성을 향상시켰으며, 물리 기반 시뮬레이션을 요구하지 않았다.
• 사용자 연구 결과, EDGE가 생성한 춤은 이전 최신 기술 수준의 모델보다 더 실제적으로 느껴지고 음악과 잘 맞는 것으로 평가되었다.
• 기존 연구에서 사용된 비트 정렬 지표는 잘못된 것으로 밝혀졌으며, 더블 타임이나 히프 타임 춤사위와 같은 유효한 비비트 정렬 운동을 페널티 처리했다.
• PFC 지표는 기존의 FID 스타일 지표보다 인간 평가와 더 잘 상관관계를 보였으며, 이는 운동 생성에 대해 신뢰할 수 없는 것으로 밝혀졌다.
• EDGE는 관절별 조건부 설정과 보간을 포함한 다양한 편집 기능을 지원하여 생성된 춤 시퀀스에 대해 정밀한 사용자 제어를 가능하게 했다.

Figure 3 : Although EDGE is trained on 5-second clips, it can generate choreographies of any length by imposing temporal constraints on batches of sequences. In this example, EDGE constrains the first 2.5 seconds of each sequence to match the last 2.5 seconds of the previous one to generate a 12.5-s