[논문 리뷰] ChatMusician: Understanding and Generating Music Intrinsically with LLM

Ruibin Yuan, Hanfeng Lin외 33명|arXiv (Cornell University)|2024. 02. 25.

Machine Learning in Materials Science인용 수 4

한 줄 요약

ChatMusician는 ABC 표기법으로 훈련된 오픈소스 대규모 언어 모델로, 외부 다중모달 구성 요소 없이 텍스트 토크나이저만을 사용하여 내재된 음악 이해 및 생성 기능을 구현한다. 음악 생성 및 추론 작업에서 GPT-4와 GPT-3.5를 능가하며, ABC 표기법 파싱 성공률이 99.6%에 달하고 일반 언어 능력은 유지되거나 약간 향상되어 MMLU 점수 46.80을 기록했다.

ABSTRACT

While Large Language Models (LLMs) demonstrate impressive capabilities in text generation, we find that their ability has yet to be generalized to music, humanity's creative language. We introduce ChatMusician, an open-source LLM that integrates intrinsic musical abilities. It is based on continual pre-training and finetuning LLaMA2 on a text-compatible music representation, ABC notation, and the music is treated as a second language. ChatMusician can understand and generate music with a pure text tokenizer without any external multi-modal neural structures or tokenizers. Interestingly, endowing musical abilities does not harm language abilities, even achieving a slightly higher MMLU score. Our model is capable of composing well-structured, full-length music, conditioned on texts, chords, melodies, motifs, musical forms, etc, surpassing GPT-4 baseline. On our meticulously curated college-level music understanding benchmark, MusicTheoryBench, ChatMusician surpasses LLaMA2 and GPT-3.5 on zero-shot setting by a noticeable margin. Our work reveals that LLMs can be an excellent compressor for music, but there remains significant territory to be conquered. We release our 4B token music-language corpora MusicPile, the collected MusicTheoryBench, code, model and demo in GitHub.

연구 동기 및 목표

• 텍스트 기반 토크나이저만을 사용하여 내재된 음악 능력을 지닌 대규모 언어 모델을 개발하는 것.
• 외부 다중모달 아키텍처에 의존하지 않고 단일 LLM 내에서 음악 생성과 이해를 통합하는 것.
• 학부 수준 기준의 상징적 음악 추론 및 작곡 작업에서 모델의 성능을 평가하는 것.
• 음악-언어 데이터셋, 벤치마크, 모델을 포괄적으로 공개하여 음악과 LLM 분야의 연구를 촉진하는 것.

제안 방법

• ABC 표기법을 텍스트 호환 음악 표현 방식으로 사용하여 4B토큰 분량의 음악-언어 코퍼스를 기반으로 LLaMA2의 연속적 사전학습 및 미세조정.
• 표준 LLM 토크나이저와 호환되는 토큰 시퀀스로 음악적 구조를 인코딩함으로써 음악을 두 번째 언어로 간주하는 전략.
• 화성, 모티프, 형식 조건을 포함한 다양한 음악 생성 작업을 위한 수작업으로 구성된 지시 템플릿 설계 및 적용.
• 학부 수준의 상징적 음악 이해를 평가하기 위한 벤치마크인 MusicTheoryBench 도입.
• 일반화 및 일관성 평가를 위해 음악 생성 및 이해 작업에서 제로샷 평가를 시행.
• 생성된 ABC 표기법을 기준 훈련 시퀀스와 비교하여 기억 및 환각 효과 분석.

실험 결과

연구 질문

• RQ1 ABC 표기법과 같은 텍스트 호환 음악 표현 방식으로만 훈련된 LLM이 강력한 음악 생성 및 이해 능력을 갖출 수 있는가?
• RQ2 LLM에 음악 능력을 통합하면 일반 언어 능력이 저하되거나 향상되는가?
• RQ3 조화, 형식, 구조 지식이 요구되는 복잡한 상징적 음악 추론 작업에서 모델의 성능은 어떠한가?
• RQ4 모델이 훈련 데이터를 어느 정도 기억하는가? 이는 저작권 및 교육적 활용에 어떤 영향을 미치는가?

주요 결과

• ChatMusician는 생성된 ABC 표기법의 파싱 성공률이 99.6%에 달하여 GPT-4(94.6%)와 GPT-3.5(65.4%)를 크게 앞서며 뛰어난 성능을 보였다.
• 모델은 모든 다섯 가지 음악 생성 작업에서 GPT-4와 기준 모델을 초월했으며, 모든 조건에서 평균 백분위수 점수가 높았다.
• ChatMusician는 MMLU 점수 46.80을 기록하여 LLaMA2-7B-Base(46.79)와 비슷하거나 略로 향상된 일반 언어 능력을 유지함을 보여주었다.
• MusicTheoryBench 벤치마크에서 ChatMusician는 제로샷 설정에서 LLaMA2와 GPT-3.5를 모두 앞서며 뛰어난 상징적 음악 추론 능력을 입증했다.
• 모델는 극히 낮은 수준의 기억 현상을 보였으며, 훈련 시퀀스의 0.02%만이 완전히 복제되었고, 0.24%는 최소 80% 토큰 일치율을 보였다.
• 강력한 성능에도 불구하고 데이터셋 구성으로 인해 아일랜드 음악에 편향되어 있으며, 지시어 다양성이 제한되어 있어 개방형 생성 작업에서는 어려움을 겪고 있다.