[논문 리뷰] MIDI-VAE: Modeling Dynamics and Instrumentation of Music with Applications to Style Transfer

Gino Brunner, Andres Konrad외 2명|arXiv (Cornell University)|2018. 09. 20.

Music and Audio Processing참고 문헌 28인용 수 63

한 줄 요약

MIDI-VAE는 동적 특성 및 악기 편성을 모델링하고 다성 음향 기호 음악을 위한 공유 잠재 공간 변분 오토인코더를 도입하며, 장르 간 스타일 전이(예: 클래식에서 재즈)뿐 아니라 생성, 보간, 혼합도 가능하게 한다.

ABSTRACT

We introduce MIDI-VAE, a neural network model based on Variational Autoencoders that is capable of handling polyphonic music with multiple instrument tracks, as well as modeling the dynamics of music by incorporating note durations and velocities. We show that MIDI-VAE can perform style transfer on symbolic music by automatically changing pitches, dynamics and instruments of a music piece from, e.g., a Classical to a Jazz style. We evaluate the efficacy of the style transfer by training separate style validation classifiers. Our model can also interpolate between short pieces of music, produce medleys and create mixtures of entire songs. The interpolations smoothly change pitches, dynamics and instrumentation to create a harmonic bridge between two music pieces. To the best of our knowledge, this work represents the first successful attempt at applying neural style transfer to complete musical compositions.

연구 동기 및 목표

• 다중 트랙에 걸친 동적 특성(음의 속도, 지속시간)과 악기 편성을 활용하여 기호 음악에 대한 스타일 전이를 수행하기 위한 신경망 모델을 동기 부여하고 개발한다.
• 다중 트랙 음악의 음높이, 속도, 악기 할당의 결합 분포를 포착하는 간결한 잠재 표현을 학습한다.
• 멜로디를 보존하면서 기존 악곡의 스타일을 (예: 클래식에서 재즈) 변경하고, 악곡의 생성, 보간, 혼합을 촉진하도록 한다.

제안 방법

• 세 개의 평행 인코더–디코더 쌍(음높이, 속도, 악기)이 공통 잠재 공간을 공유하여 다성 음악의 결합 분포를 모델링한다.
• β 가중 KL 항을 가지는 변분 자동인코더가 잠재 z에 대한 사전분포를 강제하여 해리화를 촉진한다.
• 최상위 잠재 차원에 스타일 분류기를 부착하여 잠재 스타일 라벨을 인코딩하고 z의 스타일 차원(z_style)을 교환하여 스타일 전이를 가능하게 한다.
• 음악 데이터는 트랙에 걸쳐 음높이(60 음높이), 속도, 악기 롤로 피아노 롤로 표현되며, 한 구간은 하나의 단위(16분 음표 간격)로 정의된다.
• 전체 손실은 음높이/음높이-속도/악기 재구성 항, 스타일 예측 손실, 및 KL 발산 항을 결합한다 (L_tot = λP H + λI H + λV MSE + λS H + (−β) DKL).
• 훈련은 GRU 기반 인코더/디코더와 MIDI 파일에서 추출된 바 단위의 기보 표현에 대해 Adam optimizations를 사용하며, 데이터는 장르 쌍으로 분할된다(예: Classic–Jazz).

실험 결과

연구 질문

• RQ1 공유 잠재 공간 VAE가 다중 트랙 기호 음악의 동적 특성과 악기 편성을 결합적으로 포착하여 장르 간 스타일 전이를 가능하게 할 수 있는가?
• RQ2 스타일 분류기가 간결한 잠재 스타일 표현을 얼마나 효과적으로 강제하고 조작 가능한 스타일 전이를 악보들 간에 가능하게 할 수 있는가?
• RQ3 전체 음악 작품의 생성, 보간, 메들리, 혼합을 음악적 일관성을 유지하면서 MIDI-VAE가 어떤 능력을 보이는가?
• RQ4 음높이, 속도, 악기 편성이 장르 간 성공적인 스타일 전이에 얼마나 기여하는가?

주요 결과

• MIDI-VAE는 서로 다른 스타일 분류기들에 의해 검증된 바와 같이 음높이, 다이내믹스, 악기를 변경하여 한 스타일의 곡을 다른 스타일로 바꿈으로써 스타일 전송을 달성한다.
• 모델은 바 사이를 보간하고 전체 곡의 메들리와 혼합을 생성할 수 있으며, 음높이, 다이내믹스, 악기의 매끄러운 전환을 보인다.
• 잠재 공간 분석(예: t-SNE)은 스타일 간 명확한 분리를 보이고(예: Jazz와 Classical), 스타일과 다른 음악적 특성(음의 수, 음높이 범위)과 상관된 차원을 나타낸다.
• 음높이와 속도 변화가 스타일 전이에 기여하는 반면, 악기 편성 변화는 장르 변화와 강하게 정렬되며 멜로디는 대체로 보존된다.
• 이 접근법은 완전한 음악 작곡에 대한 초기의 비정렬 스타일 전이 적용으로, 더 긴 스케일의 스타일 특징을 위한 계층적 모델로 확장될 수 있다.