[논문 리뷰] MELONS: generating melody with long-term structure using transformers and structure graph

Yi Zou, Pei Zou외 4명|arXiv (Cornell University)|2021. 10. 11.

Music and Audio Processing인용 수 7

한 줄 요약

MELONS는 장기적인 음악적 일관성을 모델링하기 위해 8종류의 바 수준의 구조 그래프를 사용하는 트랜스포머 기반 멜로디 생성 프레임워크이다. 구조 생성과 멜로디 생성을 분리함으로써, 구조적 데이터가 레이블링되지 않은 상태에서도 고품질의 구조적으로 일관된 전체 곡 멜로디를 생성할 수 있으며, 주관적 평가에서 이전 방법들을 능가한다.

ABSTRACT

The creation of long melody sequences requires effective expression of coherent musical structure. However, there is no clear representation of musical structure. Recent works on music generation have suggested various approaches to deal with the structural information of music, but generating a full-song melody with clear long-term structure remains a challenge. In this paper, we propose MELONS, a melody generation framework based on a graph representation of music structure which consists of eight types of bar-level relations. MELONS adopts a multi-step generation method with transformer-based networks by factoring melody generation into two sub-problems: structure generation and structure conditional melody generation. Experimental results show that MELONS can produce structured melodies with high quality and rich contents.

연구 동기 및 목표

• 장기적이고 일관된 멜로디를 명확한 음악적 구조로 생성하는 데 도전하는 것.
• 단순한 반복과 순서를 넘어서 포괄적인 데이터 기반의 음악적 구조 표현을 개발하는 것.
• 구조적 조건부 조건에서 annotation-free, 유연한 길이의 멜로디 생성을 가능하게 하는 것.
• 생성 과정에 계층적 구조적 관계를 통합하여 멜로디 품질을 향상시키는 것.

제안 방법

• MELONS는 반복, 이행, 음고 진행, 리듬 순서, 멜로디 진행, 둘러싸임 진행, 조화의 결말, 휴식의 8종류의 바 수준 관계를 가진 그래프를 사용하여 음악적 구조를 모델링한다.
• 이 프레임워크는 두 단계의 생성 과정을 사용한다: 먼저 구조 그래프를 생성하고, 그 그래프에 조건부로 멜로디를 생성한다.
• 구조 생성과 멜로디 생성 모두 트랜스포머 기반 네트워크를 사용하여 장거리 의존성 모델링이 가능하다.
• 구조 그래프는 데이터에서 학습되며, 관계는 음고, 리듬, 화성 유사도 측도에 의해 정의된다.
• 이 방법은 다양한 길이의 멜로디 생성을 지원하며, 학습에 병렬 레이블이 있는 구조 데이터가 필요하지 않다.
• 평가에는 자동 평가 지표(관계 정확도)와 전문 음악가를 대상으로 한 주관적 청취 테스트가 함께 사용된다.

실험 결과

연구 질문

• RQ1 데이터 기반의 다중관계 구조 그래프가 멜로디의 장기적 음악적 일관성을 효과적으로 표현할 수 있는가?
• RQ2 학습된 구조 그래프에 조건부로 멜로디를 생성함으로써 청취자들이 인지하는 음악적 품질과 구조 명확성이 향상되는가?
• RQ3 MELONS는 PopMNet과 CP-Transformer와 같은 이전 방법들과 비교해 구조적이고 고품질의 멜로디를 얼마나 잘 생성하는가?
• RQ4 어느 정도의 정확도로 모델은 레이블이 없는 구조적 데이터 없이도 구조적으로 정확한 멜로디를 생성할 수 있는가?

주요 결과

• 주관적 평가에서 MELONS는 전반적인 품질 지표에 대해 평균 평가 점수(MOS) 3.20을 기록했으며, CP-Transformer(2.13)와 PopMNet(2.17)보다 유의미하게 높았다.
• 리듬 순서 관계를 가진 바를 생성하는 데 92.88%의 정확도를 기록하여 모든 관계 유형 중에서 가장 높았다.
• 이행 관계는 가장 도전적인 것으로 나타나 정확도가 77.33%였으며, 이는 톤 변환 모델링 향상 여지가 있음을 시사한다.
• 실제 구조 그래프를 사용한 MELONS-R는 전반적인 품질에서 3.22점을 기록하여 인간이 만든 멜로디(4.39점)와의 성능 격차가 거의 없음을 보여주며, 높은 수준의 구조 예측 정확도를 입증했다.
• 8관계 구조 그래프를 전체로 사용한 결과 PopMNet의 기본 2관계 집합보다 성능이 유의미하게 향상되었으며, 더 rich한 구조 표현의 가치를 확인했다.
• T-검정을 통해 MELONS는 모든 평가 지표에서 모든 기준 모델을 유의미하게 뛰어넘었으며(p < 1e-6), 그 효과성을 검증했다.