[논문 리뷰] Algorithmic Composition of Melodies with Deep Recurrent Neural Networks

Florian Colombo, Samuel P. Muscinelli외 3명|arXiv (Cornell University)|2016. 01. 01.

Music and Audio Processing참고 문헌 19인용 수 21

한 줄 요약

이 논문은 아일랜드 민속 음악의 대규모 코퍼스에서 장기적인 시간적 의존성을 학습함으로써 일관된 단성 음악을 생성하기 위해 게이트드 순환 유닛(GRUs)을 사용하는 딥 순환 신경망을 제안한다. 정규화된 음고와 지속시간 시퀀스로 훈련된 모델은 명백한 규칙이나 사전 음악 지식 없이도 리듬 패턴, 톤 구조, 스타일적 특징을 유지하는 부분 음악의 연속성과 완전한 자율적 작곡을 생성한다.

ABSTRACT

A big challenge in algorithmic composition is to devise a model that is both easily trainable and able to reproduce the long-range temporal dependencies typical of music. Here we investigate how artificial neural networks can be trained on a large corpus of melodies and turned into automated music composers able to generate new melodies coherent with the style they have been trained on. We employ gated recurrent unit networks that have been shown to be particularly efficient in learning complex sequential activations with arbitrary long time lags. Our model processes rhythm and melody in parallel while modeling the relation between these two features. Using such an approach, we were able to generate interesting complete melodies or suggest possible continuations of a melody fragment that is coherent with the characteristics of the fragment itself.

연구 동기 및 목표

• 장기적인 시간적 의존성을 반영하는 음악적으로 일관된 멜로디를 생성할 수 있는 기계 학습 모델을 개발하는 것.
• 반복 패턴과 조성 이행과 같은 복잡한 음악적 구조를 모델링하는 데 한계가 있는 마르코프 모델과 단순 RNN의 한계를 극복하는 것.
• 실제 세계의 아일랜드 민속 음악 데이터셋을 대규모로 활용하여 스타일적 특징을 데이터에서 자동으로 학습하는 딥 순환 신경망을 훈련하는 것.
• 모델이 새로운 완전한 멜로디를 생성하고 부분 멜로디의 타당한 연속성을 제안할 수 있는 능력을 평가하는 것.
• GRU 기반 RNN이 음고와 지속시간을 동시에 효과적으로 모델링하여 리듬적·톤적 일관성을 유지할 수 있음을 입증하는 것.

제안 방법

• 멜로디를 정규화된 도, 도미나르 조로 표현된 원핫 인코딩된 음고 및 지속시간 벡터의 시퀀스로 표현한다.
• 멜로디 데이터의 순차적 의존성을 모델링하기 위해 다층 게이트드 순환 유닛(GRU) 네트워크를 사용한다.
• 예측 오차를 최소화하기 위해 다음 음의 시퀀스에서 역전파를 통한 시간에 따른 기울기 하강법을 사용하여 네트워크를 훈련시킨다.
• 시드 노트에서 시작하여 출력 확률 분포에서 자동으로 순차적으로 샘플링하여 생성을 수행한다.
• 추론 중에 온도 샘플링을 적용하여 생성된 멜로디의 무작위성과 다양성을 제어한다.
• 청취 및 구조적 분석을 통한 정성적 평가와 보류된 테스트 데이터의 가능도를 사용한 정량적 평가를 통해 생성 품질을 평가한다.

실험 결과

연구 질문

• RQ1 딥 GRU 기반 RNN은 단성 음악에서 장기적인 리듬적·멜로딕 패턴을 학습하고 재현할 수 있는가?
• RQ2 모델은 훈련 데이터의 스타일과 일관된 새로운 일관된 멜로디를 어느 정도 생성할 수 있는가?
• RQ3 모델은 리듬적·톤적 구조를 유지하면서 멜로디 연속 작업에 얼마나 잘 일반화되는가?
• RQ4 명시적인 아키텍처나 규칙 기반 지침 없이도 반복 패턴과 일시적 조성 이행과 같은 계층적 음악적 구조를 포착할 수 있는가?
• RQ5 모델의 성능은 음악적 일관성을 포착하는 데 있어 마르코프 체인이나 LSTM 기반 접근법과 비교해 어떻게 되는가?

주요 결과

• GRU 기반 모델은 'Brother John'에서 관찰되는 4부 구조와 같은 복잡한 리듬 패턴을 성공적으로 학습하고 재현하였으며, 국소적인 마르코프 모델이 포착하지 못하는 패턴을 포함한다.
• 모델은 인식 가능한 구조적 요소인 반복 모티프와 일시적 조성 이행을 포함하여 음악적으로 매력적이고 일관된 새로운 멜로디를 생성하였다.
• 멜로디 연속 작업에서, 모델은 입력 시드의 리듬적·톤적 특성을 유지하는 변형을 생성하였으며, 톤의 중심과 도피지의 교대를 포함하였다.
• 보류된 테스트 데이터에서 높은 가능도를 달성하여 동일 스타일의 새로운 멜로디에 대해 강한 일반화 능력을 보였다.
• 명시적인 시간_SIGNATURE 모델링 없이도 일관된 메트릭 구조와 톤 일관성을 유지하는 완전한 곡을 자율적으로 생성하였다.
• 모델은 원시 데이터에서만 학습하여도 반복 패턴과 구절 수준의 정지점과 같은 계층적 음악적 구조를 학습하고 재현할 수 있었다.