[논문 리뷰] Polyphonic Music Composition with LSTM Neural Networks and Reinforcement Learning

Harish Kumar, Balaraman Ravindran|arXiv (Cornell University)|2019. 02. 05.

Music and Audio Processing참고 문헌 21인용 수 6

한 줄 요약

이 논문은 다중 스트림 표현을 사용해 다성음 음악을 단성음 스트림으로 분해함으로써 효율적인 LSTM 기반 시퀀스 모델링을 가능하게 하는 음악 작곡 시스템인 Amadeus를 제안한다. 이 시스템은 사전 훈련된 음악적 '계획'—가중치가 아닌—의 최적 조합을 선택하기 위해 강화학습을 적용하여, 훨씬 더 뛰어난 품질의 조화가 풍부하고 리듬적으로 일관된 음악을 생성한다. 무작위 계획 선택에 비해 상당한 품질 향상이 이루어졌다.

ABSTRACT

In the domain of algorithmic music composition, machine learning-driven systems eliminate the need for carefully hand-crafting rules for composition. In particular, the capability of recurrent neural networks to learn complex temporal patterns lends itself well to the musical domain. Promising results have been observed across a number of recent attempts at music composition using deep RNNs. These approaches generally aim at first training neural networks to reproduce subsequences drawn from existing songs. Subsequently, they are used to compose music either at the audio sample-level or at the note-level. We designed a representation that divides polyphonic music into a small number of monophonic streams. This representation greatly reduces the complexity of the problem and eliminates an exponential number of probably poor compositions. On top of our LSTM neural network that learnt musical sequences in this representation, we built an RL agent that learnt to find combinations of songs whose joint dominance produced pleasant compositions. We present Amadeus, an algorithmic music composition system that composes music that consists of intricate melodies, basic chords, and even occasional contrapuntal sequences.

연구 동기 및 목표

• 다성음 음악 생성의 복잡성을 단순화된 단성음 스트림으로 분해하여 관리 가능한 수준으로 만든다.
• 불필요하게 많은 열악한 출력을 피하기 위해 구조화된 계획 공간을 활용하여 가능한 음악 조합의 탐색 공간을 줄인다.
• 모델 가중치를 직접 수정하는 대신 고수준의 구성(계획)을 선택하는 강화학습을 통해 음악 작곡 품질을 향상시킨다.
• 조화, 대위법, 리듬 및 톤의 일관성을 갖춘 음악적으로 타당한 음악을 생성할 수 있도록 한다.
• 강화학습이 음악 계획 선택을 효과적으로 이끌어내어 청각적으로 매력적이고 구조적으로 다양한 음악을 생성할 수 있음을 입증한다.

제안 방법

• 시스템은 다성음 음악을 소수의 단성음 스트림으로 표현하여 흐릿함을 줄이고 학습 문제를 단순화한다.
• LSTM 신경망은 음고와 지속시간의 시간적 패턴을 학습하기 위해 이러한 단성음 시퀀스에서 훈련된다.
• 강화학습 에이전트는 음악적 품질을 평가하는 보상 함수에 기반해 사전 훈련된 '계획'—음악 모티프나 구절을 나타냄—의 조합을 선택한다.
• 함수 근사와 함께 Q-학습 알고리즘을 사용하여 정책 네트워크를 훈련하며, 초모수는 격자 탐색을 통해 최적화된다.
• 보상 함수는 음고 엔트로피, 휴지 분포, 반복되는 노트 세트, 상관관계 피크와 같은 속성을 평가하여 에이전트가 매력적인 음악을 향해 유도한다.
• 계획 공간은 지능적으로 탐색되어, 주요 음악적 영향을 조합함으로써 다양하면서도 일관된 음악 조각을 생성할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 다성음 음악의 다중 스트림 표현이 시퀀스 모델링의 복잡성을 크게 줄이면서도 음악적 구조를 유지할 수 있는가?
• RQ2 강화학습을 모델 가중치를 수정하는 대신 고수준의 음악 계획을 선택하는 데 효과적으로 적용할 수 있는가?
• RQ3 구조화된 계획 공간의 사용이 무작위 계획 선택에 비해 더 일관되고 음악적으로 매력적인 음악을 만들어내는가?
• RQ4 LSTM 기반 시스템이 강화학습에 의해 이끌릴 경우, 조화, 대위법, 리듬 일관성을 갖춘 음악을 어느 정도 생성할 수 있는가?
• RQ5 시스템은 인간이 작곡한 음악과 청각적으로 구분되지 않을 정도로 핵심 음악적 속성에서 유사한 음악을 생성할 수 있는가?

주요 결과

• 강화학습은 양호한 음악의 비율을 크게 향상시켰다: RL을 사용한 경우 24%의 음악이 양호한 수준(보상 >5.0)으로 평가되었고, RL 없이선 12%에 그쳤다.
• 반복되는 동일한 노트 세트의 빈도는 67% 감소했다(0.06 대 0.20), 이는 더 나은 멜로디적 다양성을 의미한다.
• RL 적용으로 평균 음고 엔트로피가 0.71에서 0.82로 상승하여 더 다양한 음고 분포와 음악적으로 흥미로운 패턴을 의미한다.
• 매우 짧거나 긴 지속시간을 가진 노트의 수는 37.5% 감소했다(0.05 대 0.08), 이는 더 나은 리듬 일관성을 의미한다.
• 집계된 휴지 수와 휴지 횟수는 각각 43%와 36% 감소하여 더 자연스러운 음악적 구절을 의미한다.
• 리듬적 일관성을 측정하는 상관관계 피크는 0.20에서 0.13으로 향상되어 더 나은 리듬적 구조와 예측 가능성의 향상을 나타낸다.