[논문 리뷰] Bailando: 3D Dance Generation by Actor-Critic GPT with Choreographic Memory

Siyao Li, Weijiang Yu외 6명|arXiv (Cornell University)|2022. 03. 24.

Human Motion and AnimationEngineering인용 수 18

한 줄 요약

Bailando는 음악에서 3D 춤을 생성하는 데 전용된 새로운 프레임워크를 제안한다. 이 프레임워크는 비지도 학습 기반의 VQ-VAE를 활용해 춤 자세를 해석 가능하고 인간이 이해할 수 있는 단위로 양자화하는 무용기억을 사용하며, 교차 조건부 어텐션을 갖춘 액터-크리틱으로 튜닝된 GPT를 통해 시간적으로 일관되고 박자에 맞는 춤을 생성한다. 이 방법은 AIST++ 데이터셋에서 최신 기술 수준의 성능을 달성하여 운동 품질과 음악 동기화 측면에서 뚜렷한 향상을 이룩하였다.

ABSTRACT

Driving 3D characters to dance following a piece of music is highly challenging due to the spatial constraints applied to poses by choreography norms. In addition, the generated dance sequence also needs to maintain temporal coherency with different music genres. To tackle these challenges, we propose a novel music-to-dance framework, Bailando, with two powerful components: 1) a choreographic memory that learns to summarize meaningful dancing units from 3D pose sequence to a quantized codebook, 2) an actor-critic Generative Pre-trained Transformer (GPT) that composes these units to a fluent dance coherent to the music. With the learned choreographic memory, dance generation is realized on the quantized units that meet high choreography standards, such that the generated dancing sequences are confined within the spatial constraints. To achieve synchronized alignment between diverse motion tempos and music beats, we introduce an actor-critic-based reinforcement learning scheme to the GPT with a newly-designed beat-align reward function. Extensive experiments on the standard benchmark demonstrate that our proposed framework achieves state-of-the-art performance both qualitatively and quantitatively. Notably, the learned choreographic memory is shown to discover human-interpretable dancing-style poses in an unsupervised manner.

연구 동기 및 목표

• 물리적 자세 제약 조건 하에서 공간적으로 타당하고 무용적으로 표현력 있는 3D 춤을 생성하는 데 도전한다.
• 다양한 장르의 음악 박자와 다양한 운동 속도 간의 시간적 일관성을 확보한다.
• 수동 레이블링 없이도 해석 가능하고 재사용 가능한 춤 단위를 비지도 표현 학습을 통해 가능하게 한다.
• 새로운 박자 동기화 보상 함수를 활용한 강화학습을 통해 춤 품질 향상과 음악 박자 동기화를 개선한다.

제안 방법

• 무용기억은 VQ-VAE 기반으로 3D 인간 자세를 비지도 방식으로 이산 코드북으로 압축하고, 의미 있는 춤 자세를 표현한다.
• 자세 시퀀스는 상체와 하체로 나뉘어 각각 별도로 인코딩되고 양자화되어 표현 능력과 구성의 융통성 향상을 도모한다.
• 액터-크리틱으로 튜닝된 생성형 사전 미세조정된 트랜스포머(GPT)는 음악 특징과 초기 자세 코드를 조건으로 하여 향후 자세 코드 쌍을 순차적으로 예측한다.
• 교차 조건부 인과적 어텐션 메커니즘은 순차적 디코딩 중 상하체 간 상호작용 어텐션을 허용함으로써 상하체 간 운동의 일관성을 보장한다.
• 특정 박자 동기화 보상 함수를 갖춘 온정책 강화학습 기반의 최적화로 운동 속도를 음악 박자에 맞추어 동기화시키며 성능을 향상시킨다.
• CNN 기반 디코더는 양자화된 자세 코드에서 최종 3D 춤 시퀀스를 재구성한다.

Figure 2: Dance generation pipeline of Bailando . Given a piece of music, an actor-critic motion GPT autoregressively predicts the future upper-lower pose code pairs according to the music features and starting pose codes. The pose code sequence is then embedded to quantized features via a learned c

실험 결과

연구 질문

• RQ1 비지도 VQ-VAE 기반의 무용기억은 원시 3D 자세 시퀀스에서 해석 가능하고 재사용 가능한 춤 단위를 효과적으로 학습할 수 있는가?
• RQ2 음악과 초기 자세를 조건으로 하여 GPT 기반 모델이 시간적으로 일관되고 음악에 동기화된 춤을 생성할 수 있는가?
• RQ3 교차 조건부 어텐션은 3D 춤 생성에서 상하체 간 운동 일관성 향상에 얼마나 기여하는가?
• RQ4 박자 동기화 보상 함수를 활용한 액터-크리틱 강화학습은 운동과 음악 박자 간의 동기화를 뚜렷이 향상시킬 수 있는가?
• RQ5 제안된 프레임워크는 정량적 지표와 정성적 사용자 인식 측면에서 기존 최신 기술 수준의 방법들을 초월하는가?

주요 결과

• 전체 액터-크리틱 GPT 모델은 FID 점수 28.16과 박자 동기화 점수(BAS) 0.2332를 기록하여 기준 모델을 크게 능가하였다.
• 양자화 단계를 제거하면 FID가 135.41 증가하여 자세의 양자화가 운동 품질 향상에 필수적임을 입증하였다.
• 교차 조건부 어텐션을 제거하면 상체의 운동 품질이 8.66(30%) 감소하고 하체는 3.70(31%) 감소하여 상하체 간 운동 일관성 향상에 기여함을 입증하였다.
• 액터-크리틱 미세조정은 BAS를 0.2245에서 0.2332로 향상시키며 FID를 2.20(19%) 감소시켜 보상 기반 최적화의 효과를 확인하였다.
• 무용기억은 다리 들기, 이두근 굽힘 등 인간이 이해할 수 있는 춤 자세를 학습하였으며, 개별 코드는 고유하고 표현력 있는 춤 자세에 대응하였다.
• 이 프레임워크는 코드 선택과 전이의 시퀀스로 구성된 해석 가능한 무용을 가능하게 하여 춤 운동의 분리되고 모듈화된 표현을 제공한다.

Figure 3: Structure of 3D Pose VQ-VAE. The proposed 3D pose VQ-VAE is learned to encode and summarize meaningful dancing units to choreographic memory, and to reconstruct the target pose sequence from quantized features. The parameters of encoder and decoders and the codebook are jointly learned dur