[논문 리뷰] A Classifying Variational Autoencoder with Application to Polyphonic Music Generation

Jay A. Hennig, Akash Umakantha외 1명|arXiv (Cornell University)|2017. 11. 19.

Music and Audio Processing참고 문헌 25인용 수 10

한 줄 요약

이 논문은 훈련 중에 이산적인 음악 키 클래스를 추론할 수 있도록 분류기와 통합된 분류형 변분 오토인코더(CVAE)를 제안한다. 이는 특정 키에서 다성분 음악을 제어적으로 생성할 수 있도록 한다. 표준 VAE보다 훨씬 더 키를 잘 지키는 음악을 생성하기 위해 CVAE와 LSTM을 조합한 모델은 원본 키로 훈련된 변환되지 않은 데이터를 사용할 경우 특히 효과적이다.

ABSTRACT

The variational autoencoder (VAE) is a popular probabilistic generative model. However, one shortcoming of VAEs is that the latent variables cannot be discrete, which makes it difficult to generate data from different modes of a distribution. Here, we propose an extension of the VAE framework that incorporates a classifier to infer the discrete class of the modeled data. To model sequential data, we can combine our Classifying VAE with a recurrent neural network such as an LSTM. We apply this model to algorithmic music generation, where our model learns to generate musical sequences in different keys. Most previous work in this area avoids modeling key by transposing data into only one or two keys, as opposed to the 10+ different keys in the original music. We show that our Classifying VAE and Classifying VAE+LSTM models outperform the corresponding non-classifying models in generating musical samples that stay in key. This benefit is especially apparent when trained on untransposed music data in the original keys.

연구 동기 및 목표

• 표준 VAE가 특정 모드나 클래스(예: 음악 키)에서 데이터를 생성하는 데에 한계를 보이는 문제를 해결하기 위해.
• 사용자가 지정한 키에서 생성할 수 있도록 제어 가능한 음악 생성을 가능하게 하여 데이터의 변환을 요구하지 않기 위해.
• 추론 중에 순서 기록에서 키를 추론할 수 있도록 하여 연주자와의 실시간 즉흥 연주를 지원하기 위해.
• 원본 키 데이터로 훈련했을 때 표준 VAE 및 VAE+LSTM 모델에 비해 생성된 음악의 키 일致성 향상시키기 위해.
• 키를 이산 클래스로 모델링함으로써 순차적 음악 생성에서 재구성 품질과 음악적 일관성 향상 가능성을 입증하기 위해.

제안 방법

• 표준 VAE를 확장하여 각 입력 시퀀스의 이산 클래스(예: 음악 키)를 예측하는 분류기 네트워크를 도입한다.
• 클래스 확률는 로지스틱 노멀 분포로 모델링되어, 스토케스틱 그래디언트 변분 베이즈를 통한 엔드 투 엔드 훈련에 재파rameterization 기법을 적용할 수 있도록 한다.
• 훈련 중에 재파rameterized 그래디언트를 사용하여 잠재 클래스 변수를 샘플링함으로써 분류기 출력을 통해 역전파가 가능해진다.
• 인식 및 생성 네트워크를 LSTM과 결합하여 다성분 음악의 순차적 의존성을 모델링한다.
• 분류기는 VAE의 인식 및 생성 네트워크와 함께 공동으로 훈련되어, 입력 시퀀스의 맥락에서 키를 추론할 수 있도록 한다.
• 모델은 원본 키를 유지하는 변환되지 않은 음악 데이터로 훈련되며, 지정된 키에 조건부로 샘플을 생성하거나 맥락에서 키를 추론할 수 있다.

실험 결과

연구 질문

• RQ1 표준 VAE를 변환 없이 이산 클래스(예: 음악 키)를 명시적으로 모델링하고 생성할 수 있도록 확장할 수 있는가?
• RQ2 VAE 프레임워크에 분류기를 통합함으로써 생성된 다성분 음악 시퀀스의 키 일치도가 향상되는가?
• RQ3 추론 중에 순서 기록에서 키를 추론할 수 있는가? 이는 연주자와의 실시간 즉흥 연주를 가능하게 하는가?
• RQ4 원본 키 데이터로 훈련했을 때, 분류형 VAE+LSTM의 성능은 표준 VAE+LSTM과 비교해 어떻게 되는가? 특히 키를 잘 지키는가?
• RQ5 모델은 더 긴 시퀀스 동안 톤 일관성을 유지하는 고품질의 일관성 있는 음악 샘플을 생성할 수 있는가?

주요 결과

• 분류형 VAE+LSTM 모델은 변환되지 않은 음악 데이터로 훈련했을 때, 생성 샘플의 키 일치도가 원본 시드 시퀀스의 키 일치도와 동일한 수준에 도달한다.
• 원본 키 데이터셋에서 분류형 VAE+LSTM은 표준 VAE+LSTM 모델보다 키 일치도에서 뛰어난 성능을 보이며, 후자는 매우 일치도가 떨어지는 샘플을 생성한다.
• 시드 시퀀스의 진짜 키가 제공된 경우, 분류형 VAE+LSTM은 모든 데이터셋에서 다른 모든 모델보다 더 높은 키 일치도를 달성한다.
• 모든 모델에서 시간 단위 평균 노트 수와 톤 스펜은 JSB Chorales 테스트 데이터의 6% 이내로 유지되어 합리적인 음악적 구조를 반영하고 있다.
• 모델은 클래스 레이블(키)만 바꾸고 잠재 코드를 동일하게 유지할 경우 다른 톤 출력을 생성할 수 있도록 이해 가능한 잠재 공간을 성공적으로 학습했다.
• 클래스 확률에 대해 로지스틱 노멀 분포를 사용함으로써 재파라미터라이제이션 기법을 통한 효율적 훈련이 가능해졌으며, 이는 혼합 정규분포나 근사화된 이산 클래스 접근 방식과는 달리 유리하다.