[논문 리뷰] Music-oriented Dance Video Synthesis with Pose Perceptual Loss

Xuanchi Ren, Haoran Li외 2명|arXiv (Cornell University)|2019. 12. 13.

Human Motion and Animation참고 문헌 44인용 수 19

한 줄 요약

이 논문은 어떤 음악이든 입력으로 받아 리얼리스틱하고 비트에 맞는 춤 영상을 생성하는 이중 단계 GAN 기반 프레임워크를 제안한다. 노이즈가 있는 OpenPose 스켈레톤 데이터를 기반으로 학습하기 위해 새로운 포즈 퍼셉추얼 손실을 도입하였으며, 국소적 시간적 및 전반적 콘텐츠 두 가지 판별기(dual discriminators)를 활용해 운동의 일관성과 리듬 정렬을 보장하여 전문가가 춤추는 것과 유저 인식상 유사한 현실감을 달성한다.

ABSTRACT

We present a learning-based approach with pose perceptual loss for automatic music video generation. Our method can produce a realistic dance video that conforms to the beats and rhymes of almost any given music. To achieve this, we firstly generate a human skeleton sequence from music and then apply the learned pose-to-appearance mapping to generate the final video. In the stage of generating skeleton sequences, we utilize two discriminators to capture different aspects of the sequence and propose a novel pose perceptual loss to produce natural dances. Besides, we also provide a new cross-modal evaluation to evaluate the dance quality, which is able to estimate the similarity between two modalities of music and dance. Finally, a user study is conducted to demonstrate that dance video synthesized by the presented approach produces surprisingly realistic results. The results are shown in the supplementary video at https://youtu.be/0rMuFMZa_K4

연구 동기 및 목표

• 임의의 음악 입력으로부터 사진 수준의 현실감 있는, 음악에 맞춘 춤 영상을 생성하여 개인 맞춤 콘텐츠 제작을 가능하게 한다.
• 기존 방법에서의 모호한 음악-춤 매핑 문제와 비자연스러운 운동 문제를 해결한다.
• 사람이 수동으로 레이블링한 참값 포즈가 없는 노이즈가 있는 약한 감독을 받는 뼈대 시퀀스에서 모델을 효과적으로 학습한다.
• 음악과 춤 운동 간의 유사성을 측정하는 새로운 다중 모odal 평가 지표를 개발한다.
• 합성된 춤 영상이 사용자 연구에서 실제 전문가의 안무와 구분되지 않는다는 것을 입증한다.

제안 방법

• 프레임워크는 이중 단계 파이프라인을 사용한다: 먼저 음악에서 인간의 뼈대 시퀀스를 생성하고, 그 다음에 학습된 포즈-외형 매핑을 통해 사진 수준의 현실감 있는 영상으로 변환한다.
• 음악 인코더는 0.1초 길이의 오디오 클립을 임베딩으로 변환하고, 이는 양방향 GRU와 포즈 생성기로 전달되어 뼈대 시퀀스를 생성한다.
• 예측된 뼈대와 기준 뼈대의 중간 특징 표현을 비교함으로써 운동의 자연스러움을 향상시키기 위해 새로운 포즈 퍼셉추얼 손실을 도입한다.
• 두 개의 판별기를 사용한다: 국소적 시간적 판별기는 짧은 기간 운동의 일관성과 리듬 정렬을 강화하고, 전반적 콘텐츠 판별기는 장기적인 운동 조화와 정서 일관성을 확보한다.
• 사전 학습된 음악 특징 추출기와 트리플릿 기반의 지표 학습 방식을 활용해 음악과 생성된 춤 시퀀스 간의 유사성을 측정하는 다중 모달 평가 지표를 제안한다.
• 포즈 퍼셉추얼 손실을 통해 인간 검증 레이블 없이 노이즈가 있는 OpenPose 데이터에서 효과적으로 학습할 수 있도록, 전체적으로 적대적 손실을 사용해 엔드 투 엔드로 모델을 학습한다.

실험 결과

연구 질문

• RQ1 고품질의 인간 레이블이 없는 뼈대 데이터가 없이도 딥러닝 모델이 임의의 음악에서 리얼리스틱하고 비트에 맞는 춤 영상을 생성할 수 있는가?
• RQ2 OpenPose에서 유도된 노이즈가 많은 불완전한 뼈대 시퀀스에서 학습할 때 포즈 퍼셉추얼 손실은 어떻게 운동의 자연스러움을 향상시키는가?
• RQ3 이중 판별기 아키텍처는 생성된 춤 시퀀스의 일관성과 리듬 정렬을 어느 정도 향상시키는가?
• RQ4 새로운 다중 모달 평가 지표는 음악과 춤 운동 간의 의미 유사성을 효과적으로 측정할 수 있는가?
• RQ5 합성된 춤 영상은 인지적 품질과 현실감 측면에서 실제 안무와 어떻게 비교되는가?

주요 결과

• 전문 댄서 7명을 포함한 총 27명의 참가자가 참여한 사용자 연구에서, 기준 뼈대보다 합성된 춤 시퀀스가 43.0% 더 선호되었으며, 이는 인간 안무 수준의 인지적 현실감을 갖는다는 것을 시사한다.
• 제안된 포즈 퍼셉추얼 손실은 노이즈가 많은 OpenPose 데이터에서 학습하더라도 비자연스러운 포즈를 크게 감소시켜 운동의 자연스러움을 크게 향상시킨다.
• 국소적 및 전반적 판별기로 구성된 이중 판별기 아키텍처는 L1/L2 손실 또는 표준 GAN 손실만을 사용하는 기준 모델보다 더 일관성 있고 리듬에 맞는 뼈대 시퀀스를 생성한다.
• 다중 모달 평가 지표는 음악과 춤 간의 유사성을 성공적으로 추정하였으며, K-means (K=5) 및 최대 평균 차이(MMD) 분석을 통한 클러스터링 및 임베딩 분석으로 검증되었다.
• BRISQUE를 사용한 정량적 평가에서 전반적 콘텐츠 판별기와 포즈 퍼셉추얼 손실을 함께 적용했을 때 영상 품질이 향상되었으며, 낮은 점수는 더 높은 인지적 품질을 의미한다.
• 무작위 기준 모델(Rand Frame 및 Rand Seq)은 유의미하게 열악한 BRISQUE 점수를 기록하여, 모델의 성능이 무작위 프레임 또는 시퀀스 선택 때문이 아니라는 점을 확인한다.