[논문 리뷰] Controllable deep melody generation via hierarchical music structure representation

Shuqi Dai, Zeyu Jin외 2명|arXiv (Cornell University)|2021. 09. 02.

Music and Audio Processing참고 문헌 33인용 수 13

한 줄 요약

이 논문은 음악의 섹션/프레이즈 구조, 기본 멜로디, 리듬, 카드 제약 조건으로 분해함으로써 제어 가능하고 장기적인 멜로디 생성을 가능하게 하는 계층적 음악 구조 표현인 MusicFrameworks를 제안한다. 리듬과 멜로디 생성을 위한 별도의 트랜스포머 기반 네트워크를 사용한 후, 이 구성 요소들에 조건부로 자동회귀적 정밀 조정을 거쳐, 청취 테스트에서 50%의 비율로 인간 수준의 음악성과 뛰어난 제어 가능성 및 샘플 효율성을 확보하였다. 이는 구조적이고 모듈러한 생성 방식을 통해 달성되었다.

ABSTRACT

Recent advances in deep learning have expanded possibilities to generate music, but generating a customizable full piece of music with consistent long-term structure remains a challenge. This paper introduces MusicFrameworks, a hierarchical music structure representation and a multi-step generative process to create a full-length melody guided by long-term repetitive structure, chord, melodic contour, and rhythm constraints. We first organize the full melody with section and phrase-level structure. To generate melody in each phrase, we generate rhythm and basic melody using two separate transformer-based networks, and then generate the melody conditioned on the basic melody, rhythm and chords in an auto-regressive manner. By factoring music generation into sub-problems, our approach allows simpler models and requires less data. To customize or add variety, one can alter chords, basic melody, and rhythm structure in the music frameworks, letting our networks generate the melody accordingly. Additionally, we introduce new features to encode musical positional information, rhythm patterns, and melodic contours based on musical domain knowledge. A listening test reveals that melodies generated by our method are rated as good as or better than human-composed music in the POP909 dataset about half the time.

연구 동기 및 목표

• 기존 딥러닝 음악 생성 모델에서의 주요 한계인 일관된 반복과 형식을 갖춘 장기적 구조적 멜로디 생성 문제를 해결한다.
• 섹션, 프레이즈, 멜로디 컨투어, 리듬 패턴과 같은 고수준 구조를 사용자가 편집할 수 있도록 하여 음악 생성의 제어 가능성을 향상시킨다.
• 리듬, 기본 멜로디, 전체 멜로디로 분할된 하위 문제들에 의해 음악 생성을 분해함으로써 데이터 요구량과 모델 복잡성을 줄인다.
• 위치 인코딩, 컨투어 모델링, 리듬 패턴과 같은 음악적 인덕티브 바이어스를 딥러닝 모델에 통합하여 샘플 효율성과 음악성을 향상시킨다.
• 객관적 지표와 대규모 주관적 청취 테스트를 통해 인간이 작곡한 음악과 비교하여 음악 품질과 사용 가능성을 평가한다.

제안 방법

• 음악의 전반적 섹션, 프레이즈 수준의 구조, 국소적 리듬/멜로디 양식을 다중 수준에서 모델링하는 계층적 음악 구조 표현인 MusicFrameworks를 도입한다.
• 멜로디 생성을 세 단계로 분해한다: (1) 트랜스포머 기반 네트워크를 사용해 기본 리듬 생성; (2) 다른 트랜스포머를 사용해 기본 멜로디 생성; (3) 카드, 기본 멜로디, 리듬에 조건부로 자동회귀적으로 전체 멜로디 생성.
• 음악적 인덕티브 바이어스를 신경망에 통합하기 위해 음악적 위치, 멜로디 컨투어, 리듬 패턴에 특화된 특징 인코딩을 설계한다.
• 이중 단계 학습 프로세스를 사용한다: 먼저 기본 리듬 및 멜로디 네트워크를 별도로 학습한 후, 진짜 구조 입력을 사용해 전체 멜로디 네트워크를 피지컬 학습한다.
• 사용자가 어떤 수준이든 음악 프레임워크를 편집할 수 있도록 하여 제어 가능성을 확보한다 (예: 카드 진행 변경, 컨투어 수정, 리듬 양식 변경), 모델은 이를 바탕으로 새로운 멜로디를 생성한다.
• 분석 알고리즘을 적용해 기존 인간이 작곡한 곡들로부터 음악 프레임워크를 추출함으로써 스타일 모방과 자료 효율적인 학습을 가능하게 한다.

실험 결과

연구 질문

• RQ1 계층적 음악 구조 표현은 딥러닝으로 생성된 멜로디의 일관성과 장기적 통일성을 향상시킬 수 있는가?
• RQ2 사용자가 음악 프레임워크를 수정함으로써 유의미하고 음악적으로 타당한 멜로디 변형을 얼마나 효과적으로 이끌 수 있는가? (예: 카드 변경, 컨투어, 리듬)
• RQ3 모듈러하고 구조 인식 기반의 생성 방식은 종래의 엔드 투 엔드 생성 방식에 비해 데이터 요구량을 줄이면서도 음악 품질을 유지하거나 향상시킬 수 있는가?
• RQ4 청취 테스트에서 MusicFrameworks로 생성된 멜로디의 음악 품질은 인간이 작곡한 음악과 비교해 어떻게 평가되는가?
• RQ5 제한된 학습 데이터로 모델 성능을 향상시키는 데 있어 음악 전용 인덕티브 바이어스(예: 컨투어, 리듬 패턴)는 어떤 역할을 하는가?

주요 결과

• 청취 테스트에서 MusicFrameworks를 사용해 생성된 멜로디는 약 50%의 비교에서 인간이 작곡한 음악과 동등하거나 더 낫게 평가되어 강력한 음악성과 사용 가능성을 시사한다.
• 기본 멜로디 및 리듬 생성 단계를 생략한 베이스라인 모델에 비해 이 방법은 유의하게 뛰어난 성능을 보였으며, 선호도 테스트에서 이러한 프레임워크를 사용할 경우 더 높은 평가를 받았다.
• 생성된 기본 멜로디 및 리듬에 조건부로 생성된 멜로디는 인간이 작곡한 것과 유사하게 평가되었으며, 이는 모델이 현실적이고 음악적으로 통일된 표현을 학습했음을 시사한다.
• 일부 비교에서는 인간이 작곡한 음악에 통계적으로 유의미한 선호도를 보였지만(예: 0 vs 1), 전체적으로는 MusicFrameworks가 고품질의 인간 수준의 결과를 생성할 수 있음을 시사한다.
• 청취자들은 샘플링 아티팩트와 반복적인 노트가 때로 음악적 감성의 품질을 떨어뜨린다고 지적했지만, 이러한 문제들은 비교적 드물게 발생했으며 전반적인 인식에 지배적인 영향을 주지는 않았다.
• 이 방법은 계층적 표현을 통해 장기적 구조 일관성을 달성할 수 있음을 입증하였으며, 반복되는 프레이즈들이 동일한 프레임워크를 공유하고 음악적으로 통일된 변형을 생성함으로써 가능해졌다.