[논문 리뷰] Generative Choreography using Deep Learning

Luka Crnkovic-Friis, Louise Crnkovic-Friis|arXiv (Cornell University)|2016. 05. 23.

Human Motion and Animation참고 문헌 8인용 수 41

한 줄 요약

이 논문은 특정 안무가의 목소리로 새로운 스타일 일관성 있는 춤을 생성하기 위해 원시 운동 캡처 데이터로 훈련된 딥 순환 신경망인 Chor-RNN을 소개한다. 고차원적 움직임 패tern과 구성 구조를 학습함으로써, 인간-기계 협업이나 예술적 영감을 위한 유기적이고 창의적인 안무 자료를 생성한다.

ABSTRACT

Recent advances in deep learning have enabled the extraction of high-level features from raw sensor data which has opened up new possibilities in many different fields, including computer generated choreography. In this paper we present a system chor-rnn for generating novel choreographic material in the nuanced choreographic language and style of an individual choreographer. It also shows promising results in producing a higher level compositional cohesion, rather than just generating sequences of movement. At the core of chor-rnn is a deep recurrent neural network trained on raw motion capture data and that can generate new dance sequences for a solo dancer. Chor-rnn can be used for collaborative human-machine choreography or as a creative catalyst, serving as inspiration for a choreographer.

연구 동기 및 목표

• 특정 안무가의 고유한 스타일을 반영하는 새로운 안무 시퀀스를 생성할 수 있는 딥 러닝 시스템을 개발하는 것.
• 단순한 움직임 시퀀스 생성을 넘어 춤의 고차원적 구성 일관성을 포착함으로써, 더 높은 수준의 창의적 안무를 생성하는 것.
• AI 기반 창의적 촉매제를 제공하여 인간-기계 협업 안무를 가능하게 하는 것.
• 순환 신경망이 원시 운동 데이터에서 복잡하고 섬세한 표현적 춤 움직임을 학습하고 생성할 수 있는지 입증하는 것.
• 딥 러닝이 춤 구성 분야에서 계산적 창의성에 어떻게 기여할 수 있는지 탐색하는 것.

제안 방법

• 딥 순환 신경망(RNN)이 춤 움직임의 시간적 의존성을 모델링하기 위해 원시 운동 캡처 시퀀스로 훈련된다.
• 모델은 운동 데이터를 3D 관절 좌표의 시퀀스로 처리하여 이전 컨텍스트를 기반으로 다음 움직임 프레임을 예측한다.
• RNN 아키텍처는 생성된 춤 시퀀스 전반에 걸쳐 스타일적 뉘앙스와 구조적 일관성을 유지하도록 최적화된다.
• 훈련은 한 명의 안무가로부터의 운동 캡처 데이터를 엔드 투 엔드로 수행하여 스타일 특화 생성을 가능하게 한다.
• 추론 중에는 다양한 그러나 유기적인 춤 시퀀스를 생성하기 위해 샘플링 전략이 적용된다.
• qualitative 분석과 인간이 생성한 안무와의 비교를 통해 스타일적 충실도와 구성 흐름 측면에서 평가된다.

실험 결과

연구 질문

• RQ1 딥 러닝 모델은 특정 안무가의 스타일 언어를 진정성 있게 반영하는 새로운 춤 시퀀스를 생성할 수 있는가?
• RQ2 모델은 고립된 움직임 시퀀스를 넘어서 춤의 더 높은 수준의 구성적 구조를 어느 정도 포착하고 재현할 수 있는가?
• RQ3 모델은 인간-기계 협업 안무 환경에서 창의적 촉매제로 얼마나 효과적인가?
• RQ4 생성된 시퀀스는 예술적으로 유기적이고 표현적으로 풍부하여 안무 영감으로서 실용적으로 고려될 수 있는가?
• RQ5 원시 운동 캡처 데이터는 모델이 복잡하고 섬세한 움직임 패턴을 학습하는 데 어떤 역할을 하는가?

주요 결과

• Chor-RNN은 훈련된 안무가의 고유한 움직임 언어와 스타일적으로 일관된 새로운 춤 시퀀스를 성공적으로 생성한다.
• 모델은 단순한 운동 전이를 넘어서 고차원적 구성 일관성을 보여주는 시퀀스를 생성함으로써, 간단한 운동 전이를 넘는 구조적 패턴을 학습하고 있음을 시사한다.
• 안무가들의 정성 있는 평가에 따르면 생성된 자료는 예술적으로 타당하고 창의적 영감으로서 적합하다고 평가된다.
• 시스템은 예술적 의도를 지닌 복잡하고 표현적인 인간 운동을 모델링하는 데 RNN이 가능함을 입증한다.
• 명시적인 안무 애너테이션 없이도 개인화된 스타일 특화 안무 생성이 가능하다.
• 결과적으로 딥 러닝이 예술 분야, 특히 춤 구성에서 계산적 창의성에 효과적으로 적용될 수 있음을 시사한다.