[논문 리뷰] Neural Melody Composition from Lyrics

Hangbo Bao, Shaohan Huang외 6명|arXiv (Cornell University)|2018. 09. 12.

Music and Audio Processing참고 문헌 23인용 수 4

한 줄 요약

이 논문은 종단 간 신경 시퀀스-투-시퀀스 모델을 제안하며, 음악적 음절-노트 정렬(포함하여 일对다 매핑 포함)을 함께 생성하는 가사 조건의 멜로디 생성을 위한 것이다. 모델은 가사와 맥락 멜로디를 위한 이중 인코더와 계층적 RNN 디코더를 사용하여 자동 평가 및 인간 평가에서 베이스라인을 능가하는 음악적으로 일관되고 멜로우한 멜로디를 생성한다. 이는 대규모 중국 팝 음악 데이터셋에서 수행되었다.

ABSTRACT

In this paper, we study a novel task that learns to compose music from natural language. Given the lyrics as input, we propose a melody composition model that generates lyrics-conditional melody as well as the exact alignment between the generated melody and the given lyrics simultaneously. More specifically, we develop the melody composition model based on the sequence-to-sequence framework. It consists of two neural encoders to encode the current lyrics and the context melody respectively, and a hierarchical decoder to jointly produce musical notes and the corresponding alignment. Experimental results on lyrics-melody pairs of 18,451 pop songs demonstrate the effectiveness of our proposed methods. In addition, we apply a singing voice synthesizer software to synthesize the "singing" of the lyrics and melodies for human evaluation. Results indicate that our generated melodies are more melodious and tuneful compared with the baseline method.

연구 동기 및 목표

• 복잡한 음절-노트 정렬을 다룰 수 있는 종단 간 신경 모델의 부족을 해결하기 위해.
• 기존 방법이 단지 일대일 정렬을 가정하는 데서 비롯하는 제한을 극복하기 위해, 실제 음악에서 흔한 일대다 매핑을 고려한 모델을 개발하기 위해.
• 18,451개의 중국 팝 음악과 644,472개의 음절-멜로디 트리플릿을 포함한 대규모 고정밀도 가사-멜로디 데이터셋을 구축하기 위해.
• 멜로디와 정렬을 동시에 생성함으로써 음악적 자연스러움과 멜로우함을 향상시키기 위해.
• 노래 음성 합성 기반으로 자동 평가 및 인간 평가를 통해 모델의 우수성을 검증하기 위해.

제안 방법

• 모델은 두 개의 양방향 RNN 인코더를 사용하는 시퀀스-투-시퀀스 프레임워크를 적용한다: 하나는 현재 가사 음절을 인코딩하고, 다른 하나는 어텐션 메커니즘을 사용해 맥락 멜로디를 인코딩한다.
• 계층적 RNN 디코더는 세 층으로 구성되며, 각 음악적 음절의 톤과 지속 시간을 예측하는 데 두 층을 사용하고, 각 음절이 어떤 음절에 대응하는지 나타내는 정렬 레이블을 예측하는 데 하나의 층을 사용한다.
• 정렬 예측 층은 일대다 매핑을 학습할 수 있게 하여, 하나의 음절이 연속된 다수의 음절에 대응할 수 있도록 한다.
• 정확히 애너테이션된 음절-노트 정렬을 포함한 18,451개의 중국 팝 음악으로 구성된 대규모 데이터셋에서 종단 간으로 훈련된다.
• 생성된 멜로디와 가사를 음성으로 렌더링하기 위해 노래 음성 합성기기를 사용하여 인간 평가를 수행한다.
• 훈련 목표는 멜로디 생성과 정렬 정확도를 동시에 최적화하며, 톤, 지속 시간, 정렬 레이블의 공동 최적화를 수행한다.

실험 결과

연구 질문

• RQ1 종단 간 신경 네트워크 모델이 음절과 음악적 노트 간 정확한 정렬을 학습하면서 가사에서 멜로디를 효과적으로 생성할 수 있는가?
• RQ2 일대일 매핑에 제한된 모델에 비해 일대다 음절-노트 정렬을 모델링하는 것이 멜로디 품질을 향상시키는가?
• RQ3 이중 인코더와 계층적 디코딩을 갖춘 종단 간 통합 프레임워크가 전통적인 시퀀스 레이블링 또는 분류 기반 베이스라인보다 멜로디 생성에서 뛰어난 성능을 내는가?
• RQ4 자동 평가 지표와 인간 평가가 생성된 멜로디의 음악적 품질 평가에서 어떻게 상호 비교되는가?
• RQ5 정확한 정렬 정보를 통합할 경우, 노래 멜로디의 음절 지속 시간과 휴지 시간의 자연스러움이 어느 정도 향상되는가?

주요 결과

• 제안된 모델은 모든 자동 평가 지표에서 기존 베이스라인을 크게 앞서며, 멜로디 생성과 정렬 정확도에서 뛰어난 성능을 보였다.
• 인간 평가 결과, 제안된 방법으로 생성된 멜로디의 평균 종합 점수는 4.57로, 베이스라인 Seq2seq 모델(3.28)과 Songwriter 베이스라인(3.83)보다 뚜렷하게 높았다.
• 인간 평가자들은 제안된 모델의 멜로디가 더 멜로우하고 멜로우하다고 평가했으며, 특히 음절 지속 시간과 휴지 시간의 자연스러움 향상에 주목했다.
• 모델은 일대다 정렬을 성공적으로 포착했으며, 데이터셋의 97.9%의 곡에서 최소한 한 개 이상의 음절이 다수의 음절에 대응하는 패턴을 효과적으로 학습했다.
• 디코더에서 명시적인 정렬 예측을 사용함으로써 더 자연스러운 리듬과 타이밍이 구현되었으며, 이는 '리듬' 지표에서 높은 점수(4.17 vs. Seq2seq의 2.66)로 확인되었다.
• 정확한 음절 수준의 정렬 정보를 사용하는 것이 기존의 소프트 어텐션 메커니즘을 갖춘 시퀀스-투-시퀀스 모델보다 멜로디 생성에 더 효과적임을 확인했다.