[논문 리뷰] FineDance: A Fine-grained Choreography Dataset for 3D Full Body Dance Generation

Ronghui Li, Junfan Zhao외 6명|arXiv (Cornell University)|2022. 12. 07.

Human Pose and Action Recognition인용 수 5

한 줄 요약

FineDance는 정교한 손동작과 22개의 춤 장르를 포함한 대규모 14.6시간 분량의 3D 음악-춤 쌍체 데이터셋을 제공하며, 고해상도이자 장르에 부합하는 전신 춤 생성을 가능하게 한다. 제안된 FineNet 프레임워크는 신체 및 손동작을 위한 전문 헤드를 갖춘 확산 기반 전신 생성 네트워크를 사용하며, Refine Net을 통해 정교화하고, 장기적 일관성과 장르 일치를 보장하기 위해 장르 및 일관성 인식 검색 모듈(GCRM)을 통합하여 최신 기술 수준의 성능을 달성한다. 특히 장르 일치도와 동작 품질 측면에서 뛰어난 성능을 보인다.

ABSTRACT

Generating full-body and multi-genre dance sequences from given music is a challenging task, due to the limitations of existing datasets and the inherent complexity of the fine-grained hand motion and dance genres. To address these problems, we propose FineDance, which contains 14.6 hours of music-dance paired data, with fine-grained hand motions, fine-grained genres (22 dance genres), and accurate posture. To the best of our knowledge, FineDance is the largest music-dance paired dataset with the most dance genres. Additionally, to address monotonous and unnatural hand movements existing in previous methods, we propose a full-body dance generation network, which utilizes the diverse generation capabilities of the diffusion model to solve monotonous problems, and use expert nets to solve unreal problems. To further enhance the genre-matching and long-term stability of generated dances, we propose a Genre&Coherent aware Retrieval Module. Besides, we propose a novel metric named Genre Matching Score to evaluate the genre-matching degree between dance and music. Quantitative and qualitative experiments demonstrate the quality of FineDance, and the state-of-the-art performance of FineNet. The FineDance Dataset and more qualitative samples can be found at our website.

연구 동기 및 목표

• 정교한 손동작과 다양한 장르를 포함한 대규모 고해상도 3D 음악-춤 데이터셋의 부족 문제를 해결하기 위해.
• 기존 AI 춤 생성 방법에서 발생하는 지루하고 자연스럽지 않은 손동작을 해결하기 위해.
• 생성된 춤과 입력 음악 간의 장기적 일관성과 장르 일치도를 향상시키기 위해.
• 음악 주도 춤 생성에서 장르 일치도를 객관적으로 평가하기 위한 새로운 지표를 개발하기 위해.
• 임의의 음악으로부터 다양한 표현력 있고 장르에 부합하는 3D 춤 시퀀스를 합성할 수 있도록 하기 위해.

제안 방법

• 346개의 음악-춤 쌍체, 22개의 정교한 춤 장르, 정확한 전신 자세(손동작 포함)를 포함한 14.6시간 분량의 3D 동작 캡처 데이터셋인 FineDance를 제안한다.
• 두 단계로 구성된 생성-합성 프레임워크인 FineNet을 도입한다: 첫 번째 단계로 신체 및 손동작 생성을 위한 별도의 전문 네트워크를 갖춘 확산 기반 전신 춤 생성 네트워크(FDGN)를 사용한다.
• 신체 및 손동작 전문가의 공동 출력을 조율하고 정교화하여 공간적·시간적 일관성을 확보하기 위해 Refine Net을 활용한다.
• 장기적 시퀀스 합성을 위해 데이터베이스에서 장르에 부합하고 시간적으로 일관된 춤 조각을 검색하는 장르 및 일관성 인식 검색 모듈(GCRM)을 통합한다.
• 음악과 생성된 춤 장르 간의 일치도를 정량적으로 평가하기 위해 새로운 장르 일치 점수(GS) 지표를 사용한다.
• 확산 모델링과 검색 기반 합성을 융합하여 생성된 춤의 다양성, 현실감, 장기적 안정성을 향상시킨다.

실험 결과

연구 질문

• RQ1 정확한 손동작과 다양한 장르를 포함한 대규모 정교한 3D 춤 데이터셋은 음악 주도 춤 생성의 품질과 다양성 향상에 기여하는가?
• RQ2 신체 및 손동작을 위한 전용 전문 네트워크를 갖춘 확산 기반 생성 방식은 자연스럽지 않거나 반복적인 손동작을 줄이는 데 얼마나 효과적인가?
• RQ3 검색 기반 모듈은 생성된 춤 시퀀스의 장르 일치도와 장기적 일관성 향상에 얼마나 기여하는가?
• RQ4 제안된 장르 일치 점수 지표는 음악과 춤 간의 장르 일치도를 효과적이고 객관적으로 측정하는가?
• RQ5 하이브리드 생성-합성 프레임워크는 순수 생성 또는 검색 기반 기준 대비 정량적 지표와 정성적 사용자 인식 모두에서 슈퍼리어한 성능을 보일 수 있는가?

주요 결과

• FineDance는 14.6시간 분량의 데이터, 22개의 정교한 춤 장르, 정확한 손동작 주석을 포함한 가장 큰 3D 음악-춤 쌍체 데이터셋이다.
• FineNet은 장르 일치 점수(GS) 0.77를 기록하여 DanceRevolution(0.37) 및 DeepDance(0.32)와 같은 기준 모델들을 크게 앞서며, 뛰어난 장르 일치도를 입증한다.
• 사용자 연구 결과, FineNet은 평균 예술성 점수 77.0을 기록하여 모든 기준 모델을 초월하며, 지표값(96.0)에 가까워져 특히 장르 일치도와 종합 예술성 측면에서 뛰어난 성능을 보였다.
• FineNet은 평균 28.2초의 효과적인 춤 지속 시간을 유지하며, 생성 전용 방법들(예: DanceRevolution: 5.4초)에 비해 뚜렷한 장기적 안정성 향상을 보였다.
• 제거 분석 결과, 전문 네트워크와 Refine Net을 갖춘 FDGN이 FID(1.66)는 최저, MM(16.72)는 최고를 기록하여 아키텍처의 효과성을 입증했다.
• GCRM 모듈은 FDGN-C 대비 GS를 0.28 향상시키고 MM을 5.21 향상시켜 장르 일치도 향상과 동작 다양성 증대에 기여하는 것으로 확인되었다.