[논문 리뷰] Music2Dance: Music-driven Dance Generation using WaveNet.

Wenlin Zhuang, Cong‐Yi Wang외 3명|arXiv (Cornell University)|2020. 02. 02.

Human Motion and Animation참고 문헌 30인용 수 20

한 줄 요약

이 논문은 음악의 스타일, 리듬, 멜로디를 조건으로 하여 고해상도이고 다양한 3D 댄스 동작을 생성하는 WaveNet 기반의 순차적 생성 모델인 DanceNet을 제안한다. 전문 댄서들로부터 수집한 동기화된 음악-댄스 쌍의 새로운 고품질 데이터셋을 활용하여, 음악 주도형 댄스 생성 분야에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Synthesize human motions from music, i.e., music to dance, is appealing and attracts lots of research interests in recent years. It is challenging due to not only the requirement of realistic and complex human motions for dance, but more importantly, the synthesized motions should be consistent with the style, rhythm and melody of the music. In this paper, we propose a novel autoregressive generative model, DanceNet, to take the style, rhythm and melody of music as the control signals to generate 3D dance motions with high realism and diversity. To boost the performance of our proposed model, we capture several synchronized music-dance pairs by professional dancers, and build a high-quality music-dance pair dataset. Experiments have demonstrated that the proposed method can achieve the state-of-the-art results.

연구 동기 및 목표

• 음악으로부터 현실적이며 리듬적으로 일관된 3D 댄스 동작을 생성하는 문제를 해결한다.
• 멜로디와 템포와 같은 음악적 요소와 복잡한 인간 운동을 정렬하는 데 어려움을 극복한다.
• 합성된 댄스 시퀀스의 다양성과 고해상도를 보장하는 생성 모델을 개발한다.
• 학습 및 평가를 지원하기 위해 동기화된 음악-댄스 쌍의 고품질 데이터셋을 구축한다.

제안 방법

• 3D 댄스 동작 시퀀스를 단계별로 생성하는 순차적 생성 모델인 DanceNet을 설계한다.
• 오디오에서 추출한 스타일, 리듬, 멜로디 등의 음악적 특징으로 생성 과정을 조건화한다.
• 운동 시퀀스의 장거리 시간적 의존성을 모델링하기 위해 WaveNet 아키텍처를 활용한다.
• 전문 댄서들로부터 수집한 동기화된 음악-댄스 쌍의 새로운 데이터셋을 엔드 투 엔드로 학습한다.
• 모델링 효율성과 운동 품질 향상을 위해 계층적 운동 표현을 사용한다.
• 음악 임베딩을 제어 신호로 통합하여 음악적 의미를 기반으로 생성 과정을 안내한다.

실험 결과

연구 질문

• RQ1 음악 특징으로 조건화된 순차적 생성 모델이 현실적이고 다양한 3D 댄스 동작을 생성할 수 있는가?
• RQ2 모델이 생성한 댄스 동작이 입력 음악의 리듬과 멜로디와 얼마나 잘 정렬되는가?
• RQ3 학습 데이터의 품질이 생성된 동작의 현실감과 다양성에 얼마나 큰 영향을 미치는가?
• RQ4 제안된 모델이 기존 최신 기술 수준의 방법들보다 음악 주도형 댄스 생성에서 뛰어난 성능을 보이는가?

주요 결과

• 제안된 DanceNet 모델은 음악 주도형 3D 댄스 생성 분야에서 최신 기술 수준의 성능을 달성한다.
• 모델은 입력 음악와 시간적으로 정렬된 매우 현실적이고 다양한 댄스 동작을 생성한다.
• 전문가가 수집한 음악-댄스 데이터셋의 사용이 운동 품질과 일관성 향상에 크게 기여한다.
• WaveNet을 활용한 순차적 설계는 강력한 시간적 일관성을 갖춘 고해상도 운동 생성을 가능하게 한다.