[논문 리뷰] Beyond Imitation: Generative and Variational Choreography via Machine Learning

M. Pettee, C. O. Shimmin외 2명|arXiv (Cornell University)|2019. 07. 11.

Human Motion and Animation인용 수 8

한 줄 요약

이 논문은 53개의 신체 지점의 3D 운동 캡처 데이터를 기반으로 훈련된 딥 오토에인코더와 RNN을 사용하여 새로운 다양성 있는 안무 시퀀스를 생성하는 기계학습 프레임워크를 소개한다. 운동의 저차원 잠재 공간을 학습함으로써, 모델은 조건부 생성과 조절 가능한 변형을 모두 가능하게 하여 모방을 초월한 창의적 탐색을 지원한다.

ABSTRACT

Our team of dance artists, physicists, and machine learning researchers has collectively developed several original, configurable machine-learning tools to generate novel sequences of choreography as well as tunable variations on input choreographic sequences. We use recurrent neural network and autoencoder architectures from a training dataset of movements captured as 53 three-dimensional points at each timestep. Sample animations of generated sequences and an interactive version of our model can be found at http: //www.beyondimitation.com.

연구 동기 및 목표

• 모방을 초월하여 안무가가 원천이 되는 새로운 다양한 안무 시퀀스를 생성할 수 있도록 지원하는 기계학습 도구를 개발하기 위해.
• 안무의 구조적 및 표현적 특성을 모두 포괄하는 연속적이고 저차원의 잠재 공간으로서 인간의 운동을 모델링하기 위해.
• 예술가가 운동 생성과 변형의 창의적 가능성을 탐색할 수 있도록 상호작용적이고 구성 가능한 시스템을 제공하기 위해.
• 운동의 체감 과정을 가시화되고 반영 가능한 형태로 외부화함으로써 안무 교육 및 기록을 지원하기 위해.
• 예술적 실천과 몸으로 경험하는 인지 과정에서 AI에 의해 생성된 운동이 초래하는 윤리적 및 미학적 영향을 탐구하기 위해.

제안 방법

• 각 타임스텝당 53개의 신체 지점의 3D 운동 캡처 데이터를 기반으로 시퀀스 오토에인코더를 훈련하여, 운동 시퀀스의 저차원 잠재 공간을 학습하기 위해.
• 개별 자세의 분리된 잠재 표현을 학습하기 위해 자세 오토에인코더를 활용하여 운동 구조의 조작을 가능하게 하였다.
• 미래 자세의 조건부 분포를 모델링하기 위해 m개의 가우시안 성분을 가진 혼합 밀도 네트워크(MDN)를 사용하여, 다양한 다중모달 예측을 가능하게 하였다.
• 시퀀스 오토에인코더의 잠재 공간에서 샘플링을 통해 새로운 시퀀스를 생성하고, 잠재 코드의 선형 보간 또는 변형을 통해 변형을 생성함으로써 조절 가능한 방법으로 운동을 생성하였다.
• 생성된 운동 시퀀스의 순차적 일관성을 유지하기 위해 RNN을 활용한 시간적 모델링을 적용하였다.
• 잠재 공간 내 궤적 탐색을 지원하는 상호작용 가능한 시각화 도구를 통합하여 안무 탐색과 비교를 지원하였다.

실험 결과

연구 질문

• RQ1 기계학습 모델은 학습된 운동 패tern에서 모방을 초월한 새로운 비모의 안무 시퀀스를 어떻게 생성할 수 있는가?
• RQ2 잠재 공간 조작이 입력 운동 문구에 대해 의미 있고 미학적으로 일관된 변형을 얼마나 잘 생성할 수 있는가?
• RQ3 딥 오토에인코더와 RNN은 인간의 춤 운동의 고차원적이고 연속적인 역학을 효과적으로 모델링할 수 있는가?
• RQ4 운동의 잠재 공간은 안무 교육, 반성, 기록을 지원하는 데 어떻게 활용될 수 있는가?
• RQ5 AI가 운동을 생성할 때 발생하는 윤리적 및 미학적 과제는 무엇이며, 이러한 과제는 인간의 안무 실천에 어떻게 영향을 미칠 수 있는가?

주요 결과

• 모델은 학습된 운동 시퀀스의 잠재 공간에서 샘플링을 통해 새로운 일관성 있는 안무 시퀀스를 성공적으로 생성하여, 모방을 초월한 창의적 잠재력을 입증하였다.
• 잠재 코드의 선형 보간 또는 변형을 통해 입력 문구의 변형을 생성함으로써, 조절 가능한 연속적인 운동 변형이 가능해졌다.
• 잠재 공간 내 궤적의 시각화를 통해 기존에 탐색되지 않은 운동 잠재 영역이 드러나, 안무가들에게 새로운 창의적 길을 제시하였다.
• 자세 오토에인코더를 통해 신체 구성의 분리된 표현이 가능해져, 운동 품질의 타겟팅 조작이 가능해졌다.
• 혼합 밀도 네트워크(MDN)를 통해 단일 입력에서 다양한 운동 이어짐을 다중모달로 예측할 수 있었으며, 이는 다양한 운동 연속성을 포착하였다.
• 잠재 공간의 상호작용적 탐색은 안무 반성과 비교를 지원하였으며, 새로운 형태의 기록 및 교육 방식을 제공하였다.