[논문 리뷰] TeleMelody: Lyric-to-Melody Generation with a Template-Based Two-Stage Method

Zeqian Ju, Peiling Lu외 8명|arXiv (Cornell University)|2021. 09. 20.

Music and Audio Processing참고 문헌 22인용 수 7

한 줄 요약

TeleMelody는 음악 템플릿(조성, 코드 진행, 리듬 패턴, 결합)을 사용하여 가사와 멜로디를 연결하는 이단계적 가사-멜로디 생성 프레임워크를 제안한다. 가사-템플릿 및 템플릿-멜로디 생성을 분리함으로써, 짝지어진 가사-멜로디 데이터의 필요성을 크게 줄이고, 더 높은 멜로디 품질과 제어 가능성을 달성하며, 종단간 모델보다 목적적 및 주관적 평가에서 모두 뛰어난 성능을 발휘한다.

ABSTRACT

Lyric-to-melody generation is an important task in automatic songwriting. Previous lyric-to-melody generation systems usually adopt end-to-end models that directly generate melodies from lyrics, which suffer from several issues: 1) lack of paired lyric-melody training data; 2) lack of control on generated melodies. In this paper, we develop TeleMelody, a two-stage lyric-to-melody generation system with music template (e.g., tonality, chord progression, rhythm pattern, and cadence) to bridge the gap between lyrics and melodies (i.e., the system consists of a lyric-to-template module and a template-to-melody module). TeleMelody has two advantages. First, it is data efficient. The template-to-melody module is trained in a self-supervised way (i.e., the source template is extracted from the target melody) that does not need any lyric-melody paired data. The lyric-to-template module is made up of some rules and a lyric-to-rhythm model, which is trained with paired lyric-rhythm data that is easier to obtain than paired lyric-melody data. Second, it is controllable. The design of template ensures that the generated melodies can be controlled by adjusting the musical elements in template. Both subjective and objective experimental evaluations demonstrate that TeleMelody generates melodies with higher quality, better controllability, and less requirement on paired lyric-melody data than previous generation systems.

연구 동기 및 목표

• 종단간 가사-멜로디 생성 시스템에서 짝지어진 가사-멜로디 학습 데이터의 부족 문제를 해결한다.
• 조성과 코드 진행과 같은 음악적 요소의 사용자 조작을 통해 생성된 멜로디의 제어 가능성을 향상시킨다.
• 복잡한 가사-멜로디 작업을 가사-템플릿 및 템플릿-멜로디 생성이라는 두 개의 관리 가능한 하위 작업으로 분해한다.
• 자기학습 및 규칙 기반 또는 데이터 마이닝을 통한 짝지어진 데이터(예: 가사-리듬)를 활용하여, 비용이 많이 드는 가사-멜로디 쌍 대신 데이터 효율성을 향상시킨다.
• 템플릿-멜로디 모듈에서 지식 기반 주의 메커니즘을 적용하여 생성된 멜로디의 정렬 및 음악적 일관성을 향상시킨다.

제안 방법

• 이단계적 프레임워크 도입: 첫 번째로, 가사-템플릿 모듈이 가사에서 음악 템플릿(조성, 코드 진행, 리듬 패턴, 결합)을 예측한다. 두 번째로, 템플릿-멜로디 모듈이 템플릿에서 멜로디를 생성한다.
• 목표 멜로디에서 템플릿을 추출하여 자기학습 방식으로 템플릿-멜로디 모듈을 훈련함으로써, 짝지어진 가사-멜로디 데이터가 필요 없도록 한다.
• 쉽게 확보할 수 있는 오디오-가사 쌍에서 유래한 짝지어진 가사-리듬 데이터로 훈련된 학습된 가사-리듬 모델을 사용하여 템플릿 내의 리듬 패턴을 예측한다.
• 구두점 매핑을 통한 결합 추론 및 사전 정의된 음악 규칙을 사용하여 코드 진행과 조성을 정의한다.
• 직렬-직렬 템플릿-멜로디 모델에 지식 기반 주의 정규화를 적용하여 정렬 및 제어 가능성을 향상시킨다.
• 외부의 가사-오디오 데이터를 활용하여 데이터 마이닝을 수행함으로써, 인간 레이블이 없는 가사-멜로디 쌍이 있어도 시스템이 효과적으로 기능할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 종단간 모델과 비교해 이단계적 템플릿 기반 프레임워크는 가사-멜로디 생성에서 데이터 의존도를 줄일 수 있는가?
• RQ2 템플릿 기반 설계는 음악적 요소 조작을 통해 생성된 멜로디의 제어 가능성을 얼마나 향상시킬 수 있는가?
• RQ3 크롤링된 가사-리듬 데이터로 훈련했을 때와 인간 레이블이 있는 가사-멜로디 데이터로 훈련했을 때 시스템 성능은 어떻게 달라지는가?
• RQ4 템플릿-멜로디 쌍에 대한 자기학습 훈련이 어떤 짝지어진 가사-멜로디 데이터 없이도 경쟁 가능한 성능을 달성할 수 있는가?
• RQ5 템플릿-멜로디 모듈에서 지식 기반 주의가 더 나은 정렬과 높은 멜로디 품질을 이끌어내는가?

주요 결과

• TeleMelody는 인간 레이블이 있는 가사-리듬 데이터로 훈련했을 때 우수한 목적적 지표를 기록한다: PD 46.73%, DD 52.95%, MD 2.36%, 종단간 모델인 SongMASS(34.32% PD, 47.88% DD, 2.61 MD)를 능가한다.
• 100% 크롤링된 가사-리듬 데이터로만 훈련했을 때도 강력한 성능(43.86% PD, 52.06% DD, 2.40 MD)을 유지하며, 인간 레이블 데이터 대비 최소한의 성능 저하를 보인다.
• 크롤링된 데이터의 50%만으로도 경쟁 가능한 결과(41.42% PD, 48.59% DD, 2.40 MD)를 도출하여 높은 데이터 효율성을 입증한다.
• 학습된 가사-리듬 모델을 수동으로 정의된 규칙로 대체하면 성능이 크게 저하된다(35.60% PD, 47.93% DD, 2.55 MD), 이는 학습된 모델의 가치를 확인한다.
• 주관적 평가에서 TeleMelody는 종단간 모델보다 더 높은 인식 품질과 더 나은 제어 가능성을 제공하는 멜로디를 생성한다.
• 템플릿 기반 설계 덕분에 조성, 코드 진행, 리듬에 대한 효과적인 사용자 제어가 가능해져 고정형 생성 시스템을 넘어서는 응용 시나리오를 확장할 수 있다.