[논문 리뷰] Melody Generation for Pop Music via Word Representation of Musical Properties

Andrew Shin, Léopold Crestel외 7명|arXiv (Cornell University)|2017. 10. 31.

Music and Audio Processing참고 문헌 17인용 수 7

한 줄 요약

이 논문은 히트 팝 음악을 위한 새로운 신경망 멜로디 생성 모델을 제안한다. 이 모델은 각 음과 그 성질(음고, 지속시간, 펄스 등)을 순서 안에서 유일한 '단어'로 표현하여, 코드 진행과 노래 부분 정보에 조건화된 순환 구조를 통해 엔드 투 엔드로 멜로디를 생성한다. 기존 방법보다 더 인간다운, 구조적으로 통일감 있고 청각적으로 쾌적한 멜로디를 생성하며, 인간 평가자들이 생성된 멜로디를 인간이 작곡한 곡과 구분하기 어려워할 정도로 뛰어난 성능을 보였다.

ABSTRACT

Automatic melody generation for pop music has been a long-time aspiration for both AI researchers and musicians. However, learning to generate euphonious melody has turned out to be highly challenging due to a number of factors. Representation of multivariate property of notes has been one of the primary challenges. It is also difficult to remain in the permissible spectrum of musical variety, outside of which would be perceived as a plain random play without auditory pleasantness. Observing the conventional structure of pop music poses further challenges. In this paper, we propose to represent each note and its properties as a unique `word,' thus lessening the prospect of misalignments between the properties, as well as reducing the complexity of learning. We also enforce regularization policies on the range of notes, thus encouraging the generated melody to stay close to what humans would find easy to follow. Furthermore, we generate melody conditioned on song part information, thus replicating the overall structure of a full song. Experimental results demonstrate that our model can generate auditorily pleasant songs that are more indistinguishable from human-written ones than previous models.

연구 동기 및 목표

• 딥 러닝을 활용해 음악적으로 통일되고 쾌적한 팝 음악 멜로디를 생성하는 데 도전한다.
• 음고, 지속시간, 음량 등 다변량 음 속성의 복잡성을 줄이기 위해 각 음을 순서 내에서 단일 '단어'로 간주함으로써 모델링을 단순화한다.
• 노래의 부분 정보(예: 스탠스, 코러스 등)와 코드 진행에 기반해 생성을 조건화함으로써 구조적 통일성을 강화한다.
• 학습 중 음역 범위에 대한 정규화를 적용하여 과적합을 줄이고 노래하기 쉬운 멜로디를 유도한다.
• 청각적으로 인간이 작곡한 곡과 구분하기 어려운 다양하고 고품질의 멜로디 생성을 가능하게 한다.

제안 방법

• 각 음은 음고, 지속시간, 펄스를 통합한 고유한 단일 이산 토큰으로 표현되는 유일한 '단어'로 인코딩되어, 차원 감소와 모델링 복잡도 감소를 달성한다.
• 순환 신경망(RNN)이 코드 시퀀스와 노래 부분 레이블에 조건화된 조건부 순차적 방식으로 멜로디를 단어 단위로 생성한다.
• 코드 시퀀스와 노래 부분 레이블은 자체 구축한 데이터셋을 기반으로 훈련된 다항형 은닉 마르코프 모델(HMM)을 사용해 자동으로 추출된다.
• 음역의 과도한 변동을 방지하기 위해 음역 정규화 손실을 도입하여, 부르기 쉬운 멜로디와 인간다운 음역을 유도한다.
• 표준 RNN 훈련 외에 GAN을 활용한 적대적 훈련을 통해 샘플의 다양성을 향상시킨다.
• 인간 청취 테스트와 정량적 지표를 통한 평가 외에도, 손실 함수와 훈련 스케줄에 대한 추론 실험을 실시한다.

실험 결과

연구 질문

• RQ1 다양한 성질을 포함한 음을 이산적 '단어'로 표현함으로써 멜로디 생성 품질 향상과 훈련 복잡도 감소를 달성할 수 있는가?
• RQ2 노래의 부분 정보(예: 코러스 대비 스탠스)에 기반해 생성을 조건화할 경우, 생성된 멜로디의 구조적 통일감과 청각적 품질은 어떻게 영향을 받는가?
• RQ3 음역 정규화가 생성된 멜로디의 부르기 쉬움과 인간다움을 어느 정도 향상시키는가?
• RQ4 GAN을 활용한 적대적 훈련이 음질을 유지하면서도 생성된 멜로디의 다양성을 향상시킬 수 있는가?
• RQ5 인간 평가에서 이 모델은 이전의 접근 방식에 비해 얼마나 인간이 작곡한 곡과 구분하기 어려운가?

주요 결과

• 음악적 성질의 단어 표현 방식이 다변량 음 특성의 통합을 통해 모델 복잡도를 크게 감소시키고 훈련 효율성을 향상시켰다.
• 노래의 부분 정보에 기반한 조건화는 더 구조적으로 정확한 멜로디 생성을 가능하게 했으며, 코러스에서는 더 높은 음역과 기억에 오래 남는 모티프가 나타나는 등 의도한 바를 잘 반영했다.
• 음역 정규화 손실은 모델이 지나치게 넓은 음역이나 부르기 어려운 멜로디를 생성하는 것을 효과적으로 방지하여 부르기 쉬운 멜로디를 유도했다.
• 인간 평가 결과, 제안된 모델이 생성한 멜로디는 이전 모델 대비 인간이 작곡한 곡과 더 이상 구분하기 어려울 정도로 뛰어난 성능을 보였다.
• GAN을 활용한 적대적 훈련은 샘플의 다양성을 향상시켰지만, 모드 붕괴 현상이 발생하여 동일한 입력에 대해 반복적인 멜로디가 생성되었다.
• 모델은 다른 악기로의 일반화 능력이 뛰어나, 베이스, 피아노, 스트링스 전용 별도의 모델을 성공적으로 훈련시켜 정확하고 코드에 맞는 트랙을 생성했지만, 악기 간 상호작용 모델링이 부족하여 다중 트랙 조합은 여전히 비조화를 띠었다.