[논문 리뷰] MuseCoco: Generating Symbolic Music from Text

Peiling Lu, Xin Xu외 5명|arXiv (Cornell University)|2023. 05. 31.

Music and Audio Processing인용 수 4

한 줄 요약

MuseCoco는 텍스트 설명에서 고품질의 기호 음악을 생성하기 위한 이단계 프레임워크를 제안하며, 음악적 속성을 텍스트와 음악 사이의 다리로 활용한다. 기호 음악 데이터에 대한 자기지도 학습과 GPT-4가 생성한 텍스트-속성 쌍을 결합함으로써, 음악성, 제어 가능성, 제어 정확도 측면에서 최신 기술 수준(SOTA) 성능을 달성한다. 1.2B 파라미터 모델은 총점에서 1.32점 향상되고, 목적 제어 정확도는 20% 향상되어 베이스라인을 초월한다.

ABSTRACT

Generating music from text descriptions is a user-friendly mode since the text is a relatively easy interface for user engagement. While some approaches utilize texts to control music audio generation, editing musical elements in generated audio is challenging for users. In contrast, symbolic music offers ease of editing, making it more accessible for users to manipulate specific musical elements. In this paper, we propose MuseCoco, which generates symbolic music from text descriptions with musical attributes as the bridge to break down the task into text-to-attribute understanding and attribute-to-music generation stages. MuseCoCo stands for Music Composition Copilot that empowers musicians to generate music directly from given text descriptions, offering a significant improvement in efficiency compared to creating music entirely from scratch. The system has two main advantages: Firstly, it is data efficient. In the attribute-to-music generation stage, the attributes can be directly extracted from music sequences, making the model training self-supervised. In the text-to-attribute understanding stage, the text is synthesized and refined by ChatGPT based on the defined attribute templates. Secondly, the system can achieve precise control with specific attributes in text descriptions and offers multiple control options through attribute-conditioned or text-conditioned approaches. MuseCoco outperforms baseline systems in terms of musicality, controllability, and overall score by at least 1.27, 1.08, and 1.32 respectively. Besides, there is a notable enhancement of about 20% in objective control accuracy. In addition, we have developed a robust large-scale model with 1.2 billion parameters, showcasing exceptional controllability and musicality.

연구 동기 및 목표

• 자연어 텍스트 설명으로부터 효율적이고 제어 가능하며 사용자 友好的한 기호 음악 생성을 가능하게 하기 위해.
• 기존의 텍스트-음악 시스템에서의 한계, 즉 낮은 제어 가능성, 편집 불가능성, 대규모 텍스트-음악 쌍 데이터셋에 대한 의존성 등을 해결하기 위해.
• 기호 음악 데이터에 대한 자기지도 학습과 합성된 텍스트-속성 쌍을 활용하여 모델의 일반화 능력과 성능을 향상시키기 위해.
• 비전문가 및 음악 전문가를 포함한 다양한 사용자를 지원하기 위해, 텍스트-속성 또는 직접적인 속성 입력을 위한 이중 제어 모드를 제공하기 위해.
• 높은 음악 품질과 다중 음악 속성에 대한 정밀한 제어를 유지하면서도 확장 가능하고 데이터 효율적인 시스템을 구축하기 위해.

제안 방법

• 시스템은 두 단계의 파이프라인을 사용한다: 첫 번째로 텍스트-속성 이해 단계에서, GPT-4가 사전 정의된 속성 템플릿에서 일관된 텍스트 설명을 생성한다.
• 두 번째로 속성-음악 생성 단계에서, 대규모 트랜스포머 기반 모델이 추출된 음악적 속성에 조건부로 기호 음악을 생성한다.
• 키, 시간 signatures, 템포, 악기, 스타일 등의 음악적 속성은 기존의 기호 음악 시퀀스에서 직접 추출되어 자기지도 학습을 가능하게 한다.
• 인간이 주석 처리한 텍스트-음악 쌍에 대한 의존도를 줄이기 위해, GPT-4를 사용하여 속성 템플릿을 자연어 프롬프트로 조합하여 합성된 쌍 데이터를 생성한다.
• 모델은 텍스트 조건부 및 속성 조건부 생성을 모두 지원하여 사용자 상호작용의 유연성을 확보한다.
• 12억 파라미터의 xlarge 모델은 대규모 모델과 동일한 설정으로 훈련되어 고해상도 및 제어 가능한 음악 생성을 가능하게 한다.

실험 결과

연구 질문

• RQ1 텍스트 이해와 음악 생성을 분리하는 이단계 프레임워크가 텍스트-기호 음악 생성에서 제어 가능성과 음악 품질을 향상시키는가?
• RQ2 기호 음악 데이터에 대한 자기지도 학습이 비용이 많이 드는 텍스트-음악 쌍 데이터셋에 대한 의존도를 얼마나 줄일 수 있는가?
• RQ3 GPT-4는 구조화된 음악적 속성에서 고품질이고 일관된 텍스트 설명을 합성하여 훈련에 효과적으로 활용할 수 있는가?
• RQ4 모델 크기를 증가시키면 텍스트-음악 생성에서 제어 정확도와 음악성이 크게 향상되는가?
• RQ5 시스템은 비전문가 사용자(텍스트 입력을 통한)와 전문가 사용자(직접적인 속성 입력을 통한)를 모두 지원하여 포괄성과 사용성 향상을 이룰 수 있는가?

주요 결과

• MuseCoco는 베이스라인 시스템보다 음악성에서 최소 1.27점, 제어 가능성에서 1.08점, 총점에서 1.32점 향상되었다.
• 시스템은 목적 제어 정확도에서 베이스라인 대비 20% 향상되어 속성 준수 정밀도가 뛰어나다는 것을 입증했다.
• 12억 파라미터의 xlarge 모델은 평균 목적 속성 제어 정확도 87.15%를 기록하여 대규모 모델의 83.63%보다 뚜렷한 향상을 이뤘다.
• 전문 음악가들은 MuseCoco가 작곡 시간을 최대 두 주 줄이고 창작 영감을 강력하게 제공한다고 평가했으며, 특히 편곡과 장르 혼합에서 두각을 나타냈다.
• 음악가들은 생성된 음악이 인간의 작곡과 유사하게 느껴지며, 일관된 모티프, 화성적 구조, 표현적인 구문을 갖추고 있으며, 바흐나 장르 하이브리드와 같은 복잡한 스타일에서 尤히 두드러진다고 지적했다.
• 시스템은 효과적인 편집 및 맞춤 설정을 가능하게 하여, 음악 교사들이 교육적 예제 생성에 매우 유용하다고 평가했다.