[논문 리뷰] Bach2Bach: Generating Music Using A Deep Reinforcement Learning Approach

Nikhil Kotecha|arXiv (Cornell University)|2018. 12. 03.

Music and Audio Processing참고 문헌 5인용 수 5

한 줄 요약

이 논문은 심층 강화학습 모델인 Bach2Bach을 제안하며, 가짜 복소 커널로 훈련된 이중축 LSTM 아키텍처를 사용하여 다성분 음악을 생성한다. 딥 Q 네트워크(DQN) 강화학습을 통해 모델은 전반적인 음악적 일관성과 탐색 능력을 향상시켜 정량적 및 정성적 평가에서 높은 품질의 규칙 준수 음악을 생성한다.

ABSTRACT

A model of music needs to have the ability to recall past details and have a clear, coherent understanding of musical structure. Detailed in the paper is a deep reinforcement learning architecture that predicts and generates polyphonic music aligned with musical rules. The probabilistic model presented is a Bi-axial LSTM trained with a pseudo-kernel reminiscent of a convolutional kernel. To encourage exploration and impose greater global coherence on the generated music, a deep reinforcement learning approach DQN is adopted. When analyzed quantitatively and qualitatively, this approach performs well in composing polyphonic music.

연구 동기 및 목표

• 음악적으로 일관된 다성분 음악을 생성할 수 있는 심층 강화학습 모델을 개발하기 위해.
• 신경망 음악 생성에서 장기적인 구조적 일관성을 유지하는 데 도전하기 위해.
• 강화학습 프레임워크를 사용하여 음악 규칙을 생성 과정에 통합하기 위해.
• DQN의 가치 기반 학습을 활용하여 생성 중 탐색 능력을 향상시키기 위해.
• 음악 품질과 구조적 탄력성 측면에서 모델을 정량적 및 정성적으로 평가하기 위해.

제안 방법

• 모델은 음악의 시간적 및 다성분적 의존성을 포착하기 위해 이중축 장기 단기 기억(LSTM) 네트워크를 사용한다.
• 합성곱 신경망에서 영감을 얻은 가짜 커널이 LSTM의 은닉 상태에 적용되어 국소 패턴 모델링을 향상시킨다.
• 딥 Q 네트워크(DQN) 강화학습이 생성 과정을 안내하며, 장기적인 음악적 일관성 최적화를 위해 사용된다.
• 에이전트는 음악 규칙과 구조적 품질에 기반한 형태 조정된 보상을 받으며, 시퀀스의 다음 노트를 예측하도록 학습한다.
• 훈련 과정에서는 음악 제약 조건(예: 음역 이동, 카드 진행) 준수를 장려하는 보상 함수를 사용한다.
• DQN 프레임워크 내에서 에psilon-그리디 전략과 경험 재생을 통해 탐색 능력을 향상시킨다.

실험 결과

연구 질문

• RQ1 심층 강화학습 모델은 자동재귀 기반 모델 대비 더 높은 구조적 일관성을 갖춘 다성분 음악을 생성할 수 있는가?
• RQ2 DQN 에이전트는 국소적 노트 예측과 전반적인 음악적 제약 조건의 균형을 얼마나 효과적으로 학습할 수 있는가?
• RQ3 이중축 LSTM에 가짜 복소 커널을 사용하는 것이 다성분 음악 모델링에 얼마나 향상되는가?
• RQ4 청취자에 의한 정성적 평가에서 모델은 음악성과 규칙 준수 측면에서 얼마나 잘 성과를 내는가?
• RQ5 보상 형태 조정이 생성된 음악의 다양성과 일관성에 어떤 영향을 미치는가?

주요 결과

• 모델은 음역 이동과 카드 진행과 같은 음악 규칙을 준수하는 다성분 음악을 성공적으로 생성한다.
• 정량적 평가에서 모델은 기준 자동재귀 모델 대비 구조적 일관성 지표에서 뛰어난 성능을 보였다.
• 정성적 평가 결과, 생성된 곡들은 음악적으로 일관되고 바흐 스타일의 음악과 스타일적으로 일치하는 것으로 평가되었다.
• DQN의 사용은 표준 자동재귀 생성 대비 탐색 능력을 향상시키고 모드 붕괴를 줄였다.
• 이중축 LSTM에 가짜 복소 커널을 사용함으로써 다성분 음악에서 악기 간 관계 모델링이 향상되었다.
• 모델은 음악 품질에 변질 없이 더 긴 시퀀스를 생성하는 데 있어 뛰어난 내구성을 보였다.