[논문 리뷰] Learning to Groove with Inverse Sequence Transformations

Jon Gillick, Adam P. Roberts외 3명|arXiv (Cornell University)|2019. 05. 14.

Teaching and Learning Programming인용 수 40

한 줄 요약

이 논문은 Seq2Seq와 Variational Information Bottleneck(VIB) 모델을 사용하여 드럼 스코어를 표현적 퍼포먼스로 번역하고, Groove MIDI Dataset를 도입하며 Humanization, Infilling, Tap2Drum 과제를 제시한다.

ABSTRACT

We explore models for translating abstract musical ideas (scores, rhythms) into expressive performances using Seq2Seq and recurrent Variational Information Bottleneck (VIB) models. Though Seq2Seq models usually require painstakingly aligned corpora, we show that it is possible to adapt an approach from the Generative Adversarial Network (GAN) literature (e.g. Pix2Pix (Isola et al., 2017) and Vid2Vid (Wang et al. 2018a)) to sequences, creating large volumes of paired data by performing simple transformations and training generative models to plausibly invert these transformations. Music, and drumming in particular, provides a strong test case for this approach because many common transformations (quantization, removing voices) have clear semantics, and models for learning to invert them have real-world applications. Focusing on the case of drum set players, we create and release a new dataset for this purpose, containing over 13 hours of recordings by professional drummers aligned with fine-grained timing and dynamics information. We also explore some of the creative potential of these models, including demonstrating improvements on state-of-the-art methods for Humanization (instantiating a performance from a musical score).

연구 동기 및 목표

• 정밀한 타이밍과 다이나믹스를 갖춘 대규모 정렬된 드럼 퍼포먼스 데이터셋(Groove MIDI Dataset)을 만들어 표현적 퍼포먼스 모델링을 가능하게 한다.
• 좀 더 단순화된 드럼 표현을 현실적인 퍼포먼스로 번역하는 모델을 개발하고 평가한다( Humanization ).
• 사용자 친화적 드럼 퍼포먼스 제어를 가능하게 하기 위해 Drum Infilling 및 Tap2Drum과 같은 추가 과제를 소개하고 연구한다.
• GrooVAE 계열의 모델을 표현적 시퀀스 생성에 적용하고 그 인지적 품질을 분석한다.
• 음악과 같은 순차 데이터에서 역 시퀀스 변환 학습 방법을 발전시킨다.

제안 방법

• 압축된 음악 표현에서 상세한 드럼 퍼포먼스(타격, 오프셋, 속도)로 매핑하도록 Seq2Seq 아키텍처를 адапт한다.
• 타이밍을 연속 가우시안 오프셋과 속도로 표현하고 16분 음표 해상도에서 H, V, O를 예측한다.
• 교사 강제(force) 학습으로 훈련하고 히트 예측, 속도 오차, 오프셋 오차를 결합한 다성분 손실(식 Equation L_t)을 사용한다.
• 스타일 전달을 위해 Groove(퍼포먼스)를 스코어 콘텐츠로부터 분리하는 Groove Transfer 변형을 도입한다.
• 내재 임베딩에 Variational Information Bottleneck(VIB)을 적용해 현실성과 제어 간의 균형을 맞춘다(ELBO with beta=0.2).
• 비교를 위한 baselines(Quantized, Linear Regression, KNN)와 여러 신경망 모델(MLP, Seq2Seq, Groove Transfer)을 제공한다.

실험 결과

연구 질문

• RQ1 단순화된 표현으로부터 현실적인 드럼 퍼포먼스를 생성하는 역 시퀀스 변환 접근법이 가능한가?
• RQ2 Seq2Seq 및 VIB 기반 모델이 드럼 스코어의 Humanization에서 전통적 baselines보다 우수한가?
• RQ3 Infilling 및 Tap2Drum 과제에서 모델의 성능은 얼마나 잘 나타나며 출력이 실제 데이터와 지각적으로 경쟁력이 있는가?
• RQ4 Groove Transfer가 현실감을 해치지 않고도 효과적인 드럼 퍼포먼스 스타일 전달을 가능하게 하는가?

주요 결과

• VIB를 갖춘 Seq2Seq가 실험된 모델들 중 Humanization에서 가장 좋은 지각적 및 정량적 성능을 보인다.
• 청취자들은 KNN baselines보다 Seq2Seq(VIB 포함)을 선호했고 실제 데이터와의 경쟁력을 보이는 출력으로 평가했다.
• 정량적 지표에서 Seq2Seq(+VIB)가 MAE 18.47 ms와 MSE 0.028(16분 음표)을 달성하며 다수의 baselines를 능가한다.
• Groove Transfer는 의미 있는 groove/스타일 제어를 제공하지만 일반적으로 타이밍 정확도 측면에서는 Seq2Seq보다 뒤처진다.
• Infilling은 일부 경우 실제 데이터보다 더 인간적으로 느껴지는 출력을 생산할 수 있어 보정 도구로의 활용 가능성을 시사한다.
• Tap2Drum 출지는 실제 데이터보다 선호도가 다소 낮지만 제어 기반 즉흥 연주에 여전히 실행 가능하다.