[논문 리뷰] Polyphonic Music Generation with Sequence Generative Adversarial Networks

Sang-gil Lee, Uiwon Hwang외 2명|arXiv (Cornell University)|2017. 10. 31.

Music Technology and Sound Studies인용 수 8

한 줄 요약

이 논문은 지속시간, 음고, 옥타브, 코드 정보를 포괄하는 압축된 워드 벡터 표현으로 MIDI 시퀀스를 인코딩함으로써 SeqGAN 기반의 다성음 음악 생성 방법을 제안한다. 이 방법은 강화학습 기반의 적대적 훈련을 통해 음악적 일관성과 BLEU 점수를 향상시키기 위해 RNN을 사용하여 일관된 음악 시퀀스를 생성한다. 이는 성능 향상에 있어 철저한 강화학습 신호 최적화가 필수적임을 보여준다.

ABSTRACT

We propose an application of sequence generative adversarial networks (SeqGAN), which are generative adversarial networks for discrete sequence generation, for creating polyphonic musical sequences. Instead of a monophonic melody generation suggested in the original work, we present an efficient representation of a polyphony MIDI file that simultaneously captures chords and melodies with dynamic timings. The proposed method condenses duration, octaves, and keys of both melodies and chords into a single word vector representation, and recurrent neural networks learn to predict distributions of sequences from the embedded musical word space. We experiment with the original method and the least squares method to the discriminator, which is known to stabilize the training of GANs. The network can create sequences that are musically coherent and shows an improved quantitative and qualitative measures. We also report that careful optimization of reinforcement learning signals of the model is crucial for general application of the model.

연구 동기 및 목표

• 멜로디와 코드를 동시에 모델링하여 SeqGAN을 단성음에서 다성음 음악 생성으로 확장하기.
• 지속시간, 음고, 옥타브, 코드 정보를 모두 포함하는 효율적이고 최소한의 전처리가 필요한 다성음 MIDI의 워드 표현 설계하기.
• GAN을 사용한 적대적 훈련을 통해 생성된 시퀀스의 음악적 일관성과 현실감 향상하기.
• 이산 시퀀스 생성에서 강화학습 신호 최적화가 시퀀스 품질에 미치는 영향 조사하기.
• 정량적( BLEU )과 정성적( MOS ) 메트릭을 사용하여 모델 평가하기 — 청각적 품질 평가를 위한 것.

제안 방법

• 노트 지속시간, 음정 계열, 옥타브, 코드 정보를 하나의 임베딩에 통합하여 다성음 MIDI 시퀀스를 워드 벡터로 표현하기.
• 정책 그래เดียน트 강화학습을 통해 훈련하는 RNN 기반 생성자 사용하여 임bed된 음악 워드 공간에서 시퀀스 예측하기.
• CNN을 사용한 판별자 도입하여 실제 시퀀스와 생성된 시퀀스를 구분하고, 생성자 훈련을 위한 적대적 보상 제공하기.
• 표준 GAN과 최소 제곱 GAN(LSGAN) 손실 함수를 모두 적용하여 훈련 안정성 향상 및 수렴 개선하기.
• 노출 편향을 줄이기 위해 몬테카를로 롤아웃과 롤아웃 정책을 사용하여 보상 신호 추정하기.
• 적대적 미세조정 이전에 음성 가능도 손실(NLL)로 생성자를 미리 훈련시켜 초기 정책 품질 향상하기.

실험 결과

연구 질문

• RQ1 SeqGAN은 멜로디와 코드를 모두 포함하는 음악적으로 일관된 다성음 시퀀스를 효과적으로 생성할 수 있는가?
• RQ2 제안된 MIDI 시퀀스의 워드 벡터 표현은 모델이 동적 타이밍과 화성 구조를 학습하는 데 어떤 영향을 미치는가?
• RQ3 GAN을 사용한 적대적 훈련은 NLL 미리 훈련된 모델에 비해 청각적 품질과 다양성 향상에 기여하는가?
• RQ4 이산 시퀀스 생성에서 강화학습 신호 최적화는 성공에 어떤 역할을 하는가?
• RQ5 BLEU와 같은 정량적 메트릭은 음악 생성 모델 평가에서 인간의 청각 인식(MOS)과 얼마나 관련이 있는가?

주요 결과

• 적대적 훈련을 통해 SeqGAN은 NLL 미리 훈련된 모델에 비해 정량적(BLEU 점수) 및 정성적(MOS) 성능 모두 크게 향상시켰다.
• 적대적으로 훈련된 모델의 시퀀스는 NLL 미리 훈련된 모델가 짧은 범위의 반복적 출력에 비해 더 긴 거리의 화성 일관성과 더 일관된 코드 진행을 보였다.
• 적대적 훈련을 통해 BLEU 점수가 향상되었지만, 일부 경우에서 점수는 0.2 이하로 남아 있어 향상 여지가 있음을 시사했다.
• 최소 제곱 GAN(LSGAN) 손실 사용이 표준 GAN보다 훈련 안정성 향상과 모드 붕괴 감소에 기여했다.
• 강화학습 신호의 분산이 높아 일관된 성능 향상을 얻기 위해 다수의 훈련 런이 필요했다.
• 인간 평가(MOS) 결과, 적대적으로 훈련된 샘플은 NLL 미리 훈련된 샘플보다 더 현실감 있고 음악적으로 일관된 것으로 평가되었다.