[논문 리뷰] AI Choreographer: Music Conditioned 3D Dance Generation with AIST++

Ruilong Li, Shan Yang외 2명|arXiv (Cornell University)|2021. 01. 21.

Human Motion and Animation참고 문헌 81인용 수 32

한 줄 요약

tldr: AIST++, 대규모 다중 모달 데이터셋인 3D 댄스 모션과 음악이 포함된 데이터셋과, 2-second 시드 모션에서 길고 음악 조건의 3D 댄스 시퀀스를 생성하는 Full-Attention Cross-modal Transformer인 FACT를 소개합니다.

ABSTRACT

We present AIST++, a new multi-modal dataset of 3D dance motion and music, along with FACT, a Full-Attention Cross-modal Transformer network for generating 3D dance motion conditioned on music. The proposed AIST++ dataset contains 5.2 hours of 3D dance motion in 1408 sequences, covering 10 dance genres with multi-view videos with known camera poses -- the largest dataset of this kind to our knowledge. We show that naively applying sequence models such as transformers to this dataset for the task of music conditioned 3D motion generation does not produce satisfactory 3D motion that is well correlated with the input music. We overcome these shortcomings by introducing key changes in its architecture design and supervision: FACT model involves a deep cross-modal transformer block with full-attention that is trained to predict $N$ future motions. We empirically show that these changes are key factors in generating long sequences of realistic dance motion that are well-attuned to the input music. We conduct extensive experiments on AIST++ with user studies, where our method outperforms recent state-of-the-art methods both qualitatively and quantitatively.

연구 동기 및 목표

• 음악 조건이 있는 현실적인 3D 댄스 생성의 필요성을 동기화하고 이 작업을 연구하기 위한 대규모 데이터셋을 제공합니다.
• 짧은 시드 시퀀스에서 입력 음악과 정렬된 긴 3D 댄스 모션 시퀀스를 생성할 수 있는 모델을 개발합니다.
• future-N 감독을 통해 전체 주의 교차 모달 융합이 안정적이고 고품질의 모션 생성을 가져오는지 입증합니다.
• SMPL 기반 표현을 통해 생성된 모션의 새로운 캐릭터로의 재타깃화를 쉽게 할 수 있도록 합니다.

제안 방법

• AIST++를 제안합니다: 3D 댄스 모션 5.2시간, 1408 시퀀스, 10 장르를 포함하고 카메라 포즈가 알려진 다중 뷰 비디오에서 획득된 데이터셋.
• FACT를 도입합니다: 음향 트랜스포머, 시드 모션 트랜스포머, 및 초기에 두 모달리티를 융합하는 Full-Attention을 가진 크로스-모달 트랜스포머의 세 구성요소로 이루어져 있습니다.
• FACT를 자가회귀 설정에서 N 개의 미래 모션 프레임(N = 20)을 예측하도록 학습시키고, 미래-N 감독을 사용하여 장 거리 생성의 안정성을 확보합니다.
• 3D 댄스를 관절 회전과 전역 변위로 표현하여 새로운 캐릭터로의 재타깃화를 지원합니다.
• 음향 및 모션 임베딩의 조기 융합과 12층 크로스-모달 트랜스포머를 사용하여 음악-모션 상관관계를 효과적으로 학습합니다.

Figure 2: Cross-Modal Music Conditioned 3D Motion Generation Overview. Our proposed a Full-Attention Cross-modal Transformer (FACT) network (details in Figure 3 ) takes in a music piece and a $2$ -second sequence of seed motion, then auto-regressively generates long-range future motions that correla

실험 결과

연구 질문

• RQ1 AIST++와 같은 대규모 다-view 데이터셋이 음악 조건의 3D 댄스 생성을 강건하게 학습하게 할 수 있나요?
• RQ2 미래-N 감독이 있는 풀 어텐션 크로스-모달 트랜스포머가 만들어낸 긴, 음악-일관성 있는 댄스 시퀀스에서 인과 어텐션과 얕은 융합 베이스라인보다 성능이 우수한가요?
• RQ3 음향과 모션 모달리티의 조기 융합이 모델의 음악 큐를 따르는 능력에 어떤 영향을 미치나요?
• RQ4 생성된 시퀀스에서 모션 품질, 다양성, 음악-댄스 정렬을 가장 잘 포착하는 지표는 무엇인가요?

주요 결과

• AIST++는 1408개 시퀀스, 30명의 피실험자, 10장의 장르, 동기화된 다중 뷰 이미지와 함께 큰 다-view 다장르 데이터셋으로 검증되었습니다.
• 풀 어탠션, Future-N 감독 및 조기 크로스-모달 융합을 갖춘 FACT는 베이스라인보다 더 길고, 자유zing이 덜하며, 음악 정렬이 더 잘 되는 3D 댄스 모션을 생성합니다.
• FACT는 최신 방법 Li et al. 2021, Dancenet, DanceRevolution에 비해 AIST++에서 모션 현실감(FID_k, FID_g 더 낮음)과 BeatAlign 점수가 더 높게 나타납니다.
• 사용자 연구에서 FACT로 생성된 모션이 baselines 대비 음악-일관성이 더 높게 인지되었으며 Li et al. 대비 81%, Dancenet 대비 71%, DanceRevolution 대비 77%의 비교에서 우수하게 평가되었습니다.
• ablation 연구를 통해 고품질의 음악 조건 생성에 필요한 미래-N 감독이 있는 풀 어텐션 및 조기 크로스-모달 융합의 필요성을 확인했습니다.

Figure 3: FACT Model Details. (a) The structure of the audio/motion/cross-modal transformer with $N$ attention layers. (b) Attention and supervision mechanism as a simplified two-layer model. Models like GPT [ 66 ] and the motion generator of [ 55 ] use causal attention (left) to predict the immedia