[논문 리뷰] MIDI-Sandwich: Multi-model Multi-task Hierarchical Conditional VAE-GAN networks for Symbolic Single-track Music Generation

Xia Liang, Junmin Wu외 1명|arXiv (Cornell University)|2019. 07. 02.

Music and Audio Processing참고 문헌 7인용 수 6

한 줄 요약

이 논문은 음악적 지식인 형태, 톤이크, 음형 운동을 통합한 다중 모델, 다중 작업, 계층적 조건부 VAE-GAN 프레임워크인 MIDI-Sandwich를 제안한다. First and Last Notes (FLN) 제약 조건과 이중 수준 아키텍처—바 수준 생성을 위한 로컬 CVAE와 구조적 제어를 위한 글로벌 VAE를 사용함으로써, 17×8 박자까지의 일관되고 장기적인 멜로디를 생성하며, 기존 모델보다 더 뛰어난 음악적 구조성과 방향성을 확보한다.

ABSTRACT

Most existing neural network models for music generation explore how to generate music bars, then directly splice the music bars into a song. However, these methods do not explore the relationship between the bars, and the connected song as a whole has no musical form structure and sense of musical direction. To address this issue, we propose a Multi-model Multi-task Hierarchical Conditional VAE-GAN (Variational Autoencoder-Generative adversarial networks) networks, named MIDI-Sandwich, which combines musical knowledge, such as musical form, tonic, and melodic motion. The MIDI-Sandwich has two submodels: Hierarchical Conditional Variational Autoencoder (HCVAE) and Hierarchical Conditional Generative Adversarial Network (HCGAN). The HCVAE uses hierarchical structure. The underlying layer of HCVAE uses Local Conditional Variational Autoencoder (L-CVAE) to generate a music bar which is pre-specified by the First and Last Notes (FLN). The upper layer of HCVAE uses Global Variational Autoencoder(G-VAE) to analyze the latent vector sequence generated by the L-CVAE encoder, to explore the musical relationship between the bars, and to produce the song pieced together by multiple music bars generated by the L-CVAE decoder, which makes the song both have musical structure and sense of direction. At the same time, the HCVAE shares a part of itself with the HCGAN to further improve the performance of the generated music. The MIDI-Sandwich is validated on the Nottingham dataset and is able to generate a single-track melody sequence (17x8 beats), which is superior to the length of most of the generated models (8 to 32 beats). Meanwhile, by referring to the experimental methods of many classical kinds of literature, the quality evaluation of the generated music is performed. The above experiments prove the validity of the model.

연구 동기 및 목표

• 직접 짧은 음악 바를 연결하는 방식으로 인해 기존 신경망 음악 생성 모델이 음악적 형태와 방향성을 결여하고 있는 문제를 해결한다.
• 합성코드 진행이나 다중 트랙 데이터에 대한 의존도를 줄이기 위해 싱글 멜로디 생성을 위한 제약 조건으로서 First and Last Notes (FLN)를 사용한다.
• 톤이크, 음형 운동, 구조적 형태와 같은 음악 지식을 심층 생성 모델에 통합하여 더 일관되고 음악적으로 의미 있는 출력을 가능하게 한다.
• 로컬(바 수준)과 글로벌(곡 수준) 음악 생성 간 공동 학습이 가능한 다중 모델, 다중 작업 아키텍처를 개발하여 공유 구성 요소를 통해 효율성과 성능을 향상시킨다.
• 합성코드 기반 감시 없이도 톤이크 안정성과 구조적 일관성을 유지하는 장기적이고 일관된 싱글트랙 멜로디(최대 17×8 박자)를 생성할 수 있도록 한다.

제안 방법

• 하나의 하이퍼파라미터를 공유하는 두 주요 하위모델인 계층적 조건부 VAE(HCVAE)와 계층적 조건부 GAN(HCGAN)을 포함한 계층적 아키텍처를 제안한다.
• 로컬 조건부 VAE(L-CVAE)를 하위 수준에서 사용하여 First and Last Notes (FLN) 조건에 따라 개별 음악 바를 생성함으로써 톤이크 및 음형 연속성을 보장한다.
• 상위 수준에서 글로벌 VAE(G-VAE)를 사용하여 L-CVAE의 잠재 벡터 시퀀스를 모델링함으로써 전반적인 음악적 관계를 포착하고 곡의 구조적 흐름을 이끈다.
• HCGAN의 L-CVAE 디코더와 일부 인코더 및 CNN 레이어를 공유함으로써 적대적 훈련을 통해 샘플 품질을 향상시킨다.
• 먼저 HCVAE를 통해 로컬 및 글로벌 구조 학습을 수행한 후, HCGAN을 통해 세분화된 훈련을 수행함으로써 생성 음악의 현실성과 청각적 품질을 향상시킨다.
• 합성코드 진행이 아닌 FLN을 제어 메커니즘으로 사용함으로써, 최소한의 싱글멜로디 데이터셋에서 훈련이 가능하게 하면서도 톤이크 안정성과 음형 운동을 유지한다.

실험 결과

연구 질문

• RQ1 계층적 조건부 VAE-GAN 아키텍처는 단편적이고 분리된 바들 대신 음악적 형태와 방향성을 지닌 장기적이고 일관된 싱글트랙 멜로디를 생성할 수 있는가?
• RQ2 First and Last Notes (FLN)는 합성코드 진행에 의존하지 않고도 음악적으로 안정적이고 일관된 멜로디를 생성하는 데 얼마나 효과적인 제약 조건이 될 수 있는가?
• RQ3 글로벌(G-VAE)과 로컬(L-CVAE) 모델링의 통합은 표준 VAE나 RNN 기반 모델에 비해 생성 음악의 구조적 일관성과 음형 운동을 얼마나 향상시키는가?
• RQ4 HCVAE와 HCGAN 간의 공유 구성 요소는 품질 향상과 함께 훈련 효율성과 모델 해석 가능성 유지를 동시에 달성할 수 있는가?
• RQ5 Magenta-RNN과 MIDI-Net과 같은 최첨단 모델과 비교했을 때 사용자 평가에서 음악적 구조, 멜로디, 통합성, 노래하기 쉬움 측면에서 모델의 성능은 어떠한가?

주요 결과

• MIDI-Sandwich 모델은 최대 17×8 박자(136 박자)의 장기적인 싱글트랙 멜로디를 성공적으로 생성하였으며, 대부분의 기존 모델이 8–32 박자만 생성하는 것에 비해 현저히 길다.
• 모델은 First and Last Notes (FLN) 제약 조건을 94%의 정확도로 충족시켜, 생성된 바들 사이에서 강력한 톤이크 안정성과 음형 연속성을 보장한다.
• 사용자 평가 결과, 모델은 구조적 통합성(3.66/5)과 음형 운동(3.47/5)에서 Magenta-RNN, MIDI-Net, VAE-GAN을 모두 능가하며, 총 평균 점수는 3.15/5를 기록한다.
• 잠재 벡터 분석 결과, 유사한 음악적 구조(예: 반복, 연속)가 유사한 잠재 표현에 인코딩되어 있으며, 차이가 천분의 일 이내로 나타나, 잠재 수준에서 효과적인 구조 모델링이 이루어졌음을 확인한다.
• HCGAN의 세분화된 훈련 단계는 청각적 품질 향상에 기여함을 입증하며, HCVAE만 사용할 경우 대비 멜로디와 통합성 점수에서 높은 점수를 기록함으로써 적대적 보정의 유용성을 보여준다.
• 모델은 합성코드 기반 또는 다중 트랙 데이터에 대한 의존도를 줄여, 단지 메인 멜로디 트랙과 FLN 제약 조건만을 사용함으로써 다양한 데이터셋과 실제 음악 생성 작업에의 적용 가능성을 높였다.