[논문 리뷰] Towards Movement Generation with Audio Features

Benedikte Wallace, Charles Martín외 2명|arXiv (Cornell University)|2020. 11. 26.

Music and Audio Processing참고 문헌 14인용 수 4

한 줄 요약

이 논문은 펄스 명도와 서브밴드 스펙트럼 플럭스와 같은 고수준의 음악 특징에 조건화된 현실적인 춤 동작을 생성하는 생성형 혼합 밀도 순환 신경망(MDRNN)을 제안한다. 결과적으로 모델는 음악 입력에 따라 의미적으로 변화하는 운동 시퀀스를 생성하며, 소리와 움직임 간의 학습된 다중 모odal 종속성을 입증한다.

ABSTRACT

Sound and movement are closely coupled, particularly in dance. Certain audio features have been found to affect the way we move to music. Is this relationship between sound and movement something which can be modelled using machine learning? This work presents initial experiments wherein high-level audio features calculated from a set of music pieces are included in a movement generation model trained on motion capture recordings of improvised dance. Our results indicate that the model learns to generate realistic dance movements which vary depending on the audio features.

연구 동기 및 목표

• 기계 학습이 음악 특징과 인간의 춤 동작 간의 관계를 모델링할 수 있는가를 조사하는 것.
• 음악 특징에 조건화된 현실적이고 다양한 춤 동작을 생성하는 생성 모델을 개발하는 것.
• 특정 음악 특징—펄스 명도와 서브밴드 스펙트럼 플럭스—가 운동 생성에 어떻게 영향을 미치는지 분석하는 것.
• 학습 중에 볼 수 없었던 음악 입력에 대해서도 모델이 운동의 현실성을 유지하면서 일반화할 수 있는지 평가하는 것.

제안 방법

• 30Hz에서 촬영된 54개의 1분짜리 운동 캡처 기록(22개 신체 점이 3차원 공간에 표현됨)을 기반으로 Mixture Density Recurrent Neural Network(MDRNN)를 학습함.
• 펄스 명도와 서브밴드 스펙트럼 플럭스(50–100 Hz 및 3200–6400 Hz 대역)와 같은 음악 특징을 5초 슬라이딩 윈도우와 0.08초 간격으로 추출하여 운동 프레임에 정렬함.
• 모델는 시퀀스에서 시퀀스로의 매핑을 수행함: 현재 운동 자세와 음악 특징을 입력으로 받아 다음 자세를 예측하며, 출력에는 음악 정보를 포함하지 않음.
• 자세의 진동을 줄이고 척도 및 위치에 대한 불변성을 확보하기 위해 데이터 전처리로 최소-최대 정규화, 스퍼링 보간법, 2차 버터워스 필터링을 사용함.
• 음악 영향을 평가하기 위해 프라밍 기법을 사용함: 기준 운동 시퀀스로 조건화된 상태에서 음악 입력만 변경하여 민감도를 테스트함.
• 검증 손실 기반 조기 정지와 함께 Adam 옵timizer를 사용하여 모델을 학습하고, 확률 밀도 추정을 위해 Keras-MDN 레이어를 활용함.

실험 결과

연구 질문

• RQ1 딥 생성 모델이 음악 특징에 따라 변화하는 현실적인 춤 동작을 학습하여 생성할 수 있는가?
• RQ2 학습 중에 볼 수 없었던 음악의 특징에 대해 모델이 얼마나 잘 일반화되는가?
• RQ3 특정 음악 특징—펄스 명도와 서브밴드 스펙트럼 플럭스—는 생성된 운동의 스타일과 안정성에 어떻게 영향을 미치는가?
• RQ4 모델이 프레임 수준에서 매끄럽고 현실적인 운동을 생성하기 위해 체계적인 음악 입력에 의존하는가?

주요 결과

• MDRNN는 음악 입력 없이도 현실적인 춤 동작을 성공적으로 생성하여 운동 역학을 강력하게 모델링하고 있음을 시사함.
• 학습 데이터에 포함된 음악 특징에 조건화된 경우, 모델는 프라밍 예시와 유사한 운동 시퀀스를 생성하지만 표현력은 감소함.
• 학습 데이터에 포함되지 않은 새로운 노래의 음악 특징에 대해선 여전히 타당한 운동을 생성하지만, 진동이 증가하여 부분적인 일반화가 이루어짐.
• 음악 특징을 백색 잡음으로 대체할 경우, 생성된 운동은 심하게 진동하게 되어 체계적인 음악 입력이 매끄러운 운동 생성에 필수적임을 나타냄.
• 모델는 학습된 다중 모달 종속성을 보이며, 다양한 음악 특징이 서로 다른 운동 패턴을 유도함을 확인하여 음악이 운동 생성에 영향을 미침을 입증함.
• 모든 음악 조건에서 합리적인 자세 예측을 유지함으로써, 음악 변화에 비록 영향을 받더라도 운동 예측의 강건성을 입증함.