[논문 리뷰] Feel The Music: Automatically Generating A Dance For An Input Song

Purva Tendulkar, Abhishek Das외 2명|arXiv (Cornell University)|2020. 06. 21.

Music and Audio Processing참고 문헌 15인용 수 5

한 줄 요약

이 논문은 음악 세그먼트의 구조적 유사성과 일치시키기 위해 스파티오테미포럴 운동 패턴을 최적화하는 기계학습 접근법을 제시한다. 이 방법은 메르-주파수 세프스트럼 계수(MFCCs)를 사용하며, 이는 음악의 구조적 특징을 반영한다. 이는 이산 운동 상태와 동작에 대한 탐색을 기반으로 하며, 인간 평가 결과에 따르면, 가장 성능이 뛰어난 변종인 동작 기반 동기화 방식이 강력한 기준 모델들보다 유의미하게 더 창의적이고 영감을 주며 음악과 더 잘 동기화된다고 평가되었다. 이는 다양한 시각화 방식과 음악 장르에 걸쳐도 동일하게 성립한다.

ABSTRACT

We present a general computational approach that enables a machine to generate a dance for any input music. We encode intuitive, flexible heuristics for what a 'good' dance is: the structure of the dance should align with the structure of the music. This flexibility allows the agent to discover creative dances. Human studies show that participants find our dances to be more creative and inspiring compared to meaningful baselines. We also evaluate how perception of creativity changes based on different presentations of the dance. Our code is available at https://github.com/purvaten/feel-the-music.

연구 동기 및 목표

• 전문가가 수동으로 레이블을 붙인 데이터 없이도 창의적이고 음악에 동기화된 춤을 생성할 수 있는 계산 프레임워크를 개발하는 것.
• 음악의 구조와 운동 패턴 간의 일치를 '좋은 춤'으로 모델링하며, 엄격한 규칙이 아닌 직관적인 히우리스틱을 사용하는 것.
• 기계로 생성된 춤이 기준 모델들보다 인간이 더 창의적이고 영감을 주며 음악과 잘 맞는다고 느끼는지 평가하는 것.
• 시각화 유형이 인간이 춤의 창의성과 동기화 정도를 어떻게 인식하는지 조사하는 것.
• 스텝 수와 운동 표현 방식(상태 대비 동작)이 춤의 품질과 인식에 미치는 영향을 탐색하는 것.

제안 방법

• 음악을 메르-주파수 세프스트럼 계수(MFCCs)로 표현하고, 시간 프레임 간의 구조적 유사성을 캡처하기 위해 자기유사성 행렬을 계산한다.
• 춤을 이산 상태 또는 동작의 시퀀스로 모델링하며, 운동 표현 방식으로 상태 기반(ST), 동작 기반(AC), 상태와 동작을 병합한(SA) 변종을 포함한다.
• 음악의 자기유사성과 춤의 운동 유사성 간의 유사도를 극대화하는 일치 점수를 정의하여, 구조적 대응을 장려한다.
• 유사도 점수를 최적화하기 위해 탐욕적 탐색 절차를 사용하여 음악 구조와 동기화된 춤 시퀀스를 생성한다.
• 아마존 메카니컬 터크 연구를 통해 평가를 실시하며, 참가자들이 창의성, 동기화, 예측 불가능성, 영감을 주는 정도의 네 가지 기준으로 두 춤을 비교한다.
• 시각화 유형(예: 스위트 패턴, 박동하는 원형, 1차원 격자 등)과 스텝 수(25, 50, 100)를 체계적으로 변화시켜 그 영향을 평가한다.

실험 결과

연구 질문

• RQ1 전문가가 수동으로 레이블을 붙인 춤 데이터 없이도 기계가 기준 모델들보다 더 창의적이고 영감을 주는 춤을 생성할 수 있는가?
• RQ2 운동 표현 방식의 선택(상태 기반 대비 동작 기반)이 춤의 품질과 음악과의 동기화 정도에 어떤 영향을 미치는가?
• RQ3 춤 시퀀스의 스텝 수를 늘리면 창의성과 동기화 정도가 향상되는가, 아니면 부자연스러운 '점프' 현상이 발생하는가?
• RQ4 다양한 시각화 방식(예: 인간형 스위트 패턴 대비 기하학적 형태)이 인간이 춤의 창의성과 음악적 일치를 어떻게 인식하는지에 영향을 미치는가?
• RQ5 학습된 일치 히우리스틱을 사용할 때와 무작위 또는 비트 동기화 기반 기준 모델 간에 인식된 춤 품질에 유의미한 차이가 있는가?

주요 결과

• 동작 기반 동기화(AC) 방식은 모든 기준 모델들보다 유의미하게 더 창의적으로 평가되었으며, 인간 비교에서 99% 신뢰수준에서 61%의 승리 비율 기록.
• 100스텝 춤은 25또는 50스텝 춤보다 더 창의적으로 인식되었으며, 50스텝 춤에 비해 69%의 승리 비율, 25스텝 춤에 비해 73%의 승리 비율 기록(모두 99% 신뢰수준).
• 비구조적 무작위 운동(UR) 기준 모델은 구조적 기준 모델(SS, US)보다 더 창의적이고 영감을 주며 더 잘 동기화된 것으로 평가되었으며, 이는 음악 특징과 일치할 경우 무작위성도 창의적으로 인식될 수 있음을 시사한다.
• 인간형 스위트 패턴 시각화가 창의성 인식도 가장 높았으며, 95% 신뢰수준에서 AC 방식이 UR보다 61% 선호되었다. 이는 인간형 형태가 미묘한 춤 표현을 더 잘 인식하게 한다는 것을 시사한다.
• 7종의 시각화 방식 중 AC 방식이 UR보다 5개의 경우에서 선호되었으며, 그 중 3개 시각화에서 유의미한 선호도(95% 이상의 p값)를 보였다.
• 모든 기준 모델들보다 더 높은 음악과의 동기화 정도와 더 큰 영감을 주는 것으로 평가되었으며, 특히 동작 기반 운동 표현 방식을 사용할 경우 두드러진 성과를 보였다.