[논문 리뷰] Towards 3D Dance Motion Synthesis and Control

Wenlin Zhuang, Yangang Wang외 5명|arXiv (Cornell University)|2020. 06. 10.

Human Motion and Animation참고 문헌 32인용 수 15

한 줄 요약

이 논문은 1D 댄스 멜로디 라인을 제어 신호로 활용하여 실제성 있고 다양한, 제어 가능한 3D 댄스 동작을 합성하는 새로운 TC-LSTM 생성 모델을 제안한다. 이 모델은 시간적 컬러션 인코더와 LSTM 디코더를 조합하여 장거리 시공간적 종속성을 포착하며, 무작위 합성, 음악-댄스, 사용자 제어 댄스 생성에서 높은 멜로디 일관성과 다양성을 확보한 상태최고 성능을 달성한다.

ABSTRACT

3D human dance motion is a cooperative and elegant social movement. Unlike regular simple locomotion, it is challenging to synthesize artistic dance motions due to the irregularity, kinematic complexity and diversity. It requires the synthesized dance is realistic, diverse and controllable. In this paper, we propose a novel generative motion model based on temporal convolution and LSTM,TC-LSTM, to synthesize realistic and diverse dance motion. We introduce a unique control signal, dance melody line, to heighten controllability. Hence, our model, and its switch for control signals, promote a variety of applications: random dance synthesis, music-to-dance, user control, and more. Our experiments demonstrate that our model can synthesize artistic dance motion in various dance types. Compared with existing methods, our method achieved start-of-the-art results.

연구 동기 및 목표

• 높은 운동역학적 복잡성과 비정규성을 지닌 3D 댄스 동작을 실제성 있고 다양한, 제어 가능한 방식으로 합성하는 데 도전하는 것.
• 다양한 댄스 유형과 복잡한 운동 구조를 다루는 데에 약한 제어력을 보이는 기존 방법의 한계를 극복하는 것.
• 단일 통합 프레임워크 내에서 무작위 합성, 음악-댄스, 사용자 제어 댄스 생성과 같은 다수의 응용 분야를 지원하는 것.
• 모델의 제어력을 향상시키고 학습 중 모드 붕괴를 방지하기 위해 새로운 1D 제어 신호인 댄스 멜로디 라인을 도입하는 것.
• 다양한 댄스 스타일에서 운동의 실제성, 다양성, 멜로디 일관성 측면에서 최신 기준 성능을 달성하는 것.

제안 방법

• TC-LSTM 모델은 3D 운동 시퀀스에서 공간-시간 특징을 추출하기 위해 시간적 컨volution 신경망(TCN)을 인코더로 사용한다.
• LSTM 기반 디코더는 자동으로 순차적으로 향후 운동 프레임을 생성하며, 댄스 동작의 장기적 종속성을 모델링한다.
• 음악 또는 사용자가 그린 입력에서 새로운 1D 댄스 멜로디 라인이 추출되어 학습 및 추론 모두에서 제어 신호로 사용된다.
• 학습 중 멜로디 라인은 운동 생성을 안내하는 조건부 신호로 사용되며, 추론 시에는 멜로디 일관성 있는 댄스 출력을 보장한다.
• 모델는 재구성 손실과 적대적 손실의 조합을 사용하여 학습함으로써 실제성과 다양성을 향상시킨다.
• 이 프레임워크는 음악-댄스 및 사용자가 그린 멜로디 기반 제어와 같은 다양한 응용 분야를 위한 엔드 투 엔드 합성 지원한다.

실험 결과

연구 질문

• RQ1 깊이 신뢰성 있는 생성 모델이 높은 운동역학적 복잡성을 지닌 실제성 있고 다양한 3D 댄스 동작을 효과적으로 합성할 수 있는가?
• RQ2 1D 멜로디 라인이 음악 일관성 있는 댄스 동작 생성을 위한 강력하고 효과적인 제어 신호로 기능할 수 있는가?
• RQ3 동일한 모델이 아키텍처 변경 없이 무작위 합성, 음악-댄스, 사용자 제어 댄스 생성과 같은 다양한 응용 분야를 지원할 수 있는가?
• RQ4 제안된 TC-LSTM 모델이 기존 방법에 비해 실제성, 다양성, 제어력 측면에서 얼마나 뛰어나게 성능을 발휘하는가?
• RQ5 왜 모델은 현대 무용에는 더 잘 작동하지만 빠른 리듬의 한국 무용에는 성능이 떨어지는가? 이는 어떻게 향상시킬 수 있는가?

주요 결과

• TC-LSTM 모델은 3D 댄스 동작 합성에서 최신 기준 성능을 달성하며, 이전 방법에 비해 실제성과 다양성 측면에서 뛰어난 성능을 보였다.
• 디코더에 LSTM을 포함시킴으로써 운동의 실제성이 크게 향상되었으며, LSTM이 없는 모델과 비교해 FID 점수의 유의미한 감소가 관찰되었다.
• 모델은 다양한 댄스 유형에서 높은 멜로디 일관성을 유지하며, 특히 시간적 부드러움과 낮은 동적 복잡성 덕분에 현대 무용에서 뛰어난 성능을 발휘했다.
• 사용자 연구 결과, 사용자가 마우스 입력으로 멜로디 라인을 그린 경우, 모델이 강력한 멜로디 일관성을 지닌 실제적인 댄스를 생성하는 것으로 확인되었다.
• 멜로디 라인의 강력한 감독 덕분에 학습 중 모드 붕괴가 방지되어 동일한 초기 조건에서도 다양한 출력을 생성할 수 있었다.
• 멜로디 라인을 1D 시간적 시퀀스로 추출함으로써 다양한 오디오 형식(WAV 및 MIDI 포함)에 대해 잘 일반화되어, 제어에 적합한 성능을 발휘했다.