[论文解读] ChatMusician: Understanding and Generating Music Intrinsically with LLM

Ruibin Yuan, Hanfeng Lin+33 more|arXiv (Cornell University)|Feb 25, 2024

Machine Learning in Materials Science被引用 4

一句话总结

ChatMusician 是一个在 ABC 符号记谱法上微调的开源大语言模型，通过仅使用文本分词器实现内在的音乐理解与生成，无需外部多模态组件。它在音乐生成和推理任务中表现优于 GPT-4 和 GPT-3.5，ABC 符号记谱法解析成功率高达 99.6%，且在通用语言能力方面保持或略有提升，MMLU 得分为 46.80。

ABSTRACT

While Large Language Models (LLMs) demonstrate impressive capabilities in text generation, we find that their ability has yet to be generalized to music, humanity's creative language. We introduce ChatMusician, an open-source LLM that integrates intrinsic musical abilities. It is based on continual pre-training and finetuning LLaMA2 on a text-compatible music representation, ABC notation, and the music is treated as a second language. ChatMusician can understand and generate music with a pure text tokenizer without any external multi-modal neural structures or tokenizers. Interestingly, endowing musical abilities does not harm language abilities, even achieving a slightly higher MMLU score. Our model is capable of composing well-structured, full-length music, conditioned on texts, chords, melodies, motifs, musical forms, etc, surpassing GPT-4 baseline. On our meticulously curated college-level music understanding benchmark, MusicTheoryBench, ChatMusician surpasses LLaMA2 and GPT-3.5 on zero-shot setting by a noticeable margin. Our work reveals that LLMs can be an excellent compressor for music, but there remains significant territory to be conquered. We release our 4B token music-language corpora MusicPile, the collected MusicTheoryBench, code, model and demo in GitHub.

研究动机与目标

• 开发一种仅通过基于文本的分词方式实现内在音乐能力的大语言模型。
• 在不依赖外部多模态架构的前提下，将音乐生成与理解统一于单一大语言模型之中。
• 在符合大学水平标准的符号音乐推理与创作任务上评估模型性能。
• 发布一个全面的音乐-语言数据集、基准测试和模型，以推动音乐与大语言模型研究的发展。

提出的方法

• 使用 ABC 符号记谱法作为与文本兼容的音乐表示方式，对 LLaMA2 模型在 40 亿 token 的音乐-语言语料库上进行持续预训练与微调。
• 通过将音乐结构编码为与标准大语言模型分词器兼容的标记序列，将音乐视为第二种语言。
• 设计并应用手工制作的指令模板，以支持多样化的音乐生成任务，包括和弦、动机和曲式条件控制。
• 提出 MusicTheoryBench，一个用于评估音乐推理与理论理解能力的大学水平符号音乐理解基准。
• 通过零样本评估在音乐生成与理解任务中评估模型的泛化能力与连贯性。
• 通过将生成的 ABC 符号记谱法与真实训练序列对比，分析记忆化与幻觉效应。

实验结果

研究问题

• RQ1 当仅在 ABC 符号记谱法等与文本兼容的音乐表示上进行训练时，大语言模型是否能实现强大的音乐生成与理解能力？
• RQ2 将音乐能力整合到大语言模型中，是否会削弱或增强其通用语言能力？
• RQ3 该模型在需要掌握和声、曲式与结构知识的复杂符号音乐推理任务中表现如何？
• RQ4 该模型在多大程度上记忆了训练数据，这对版权和教育用途有何影响？

主要发现

• ChatMusician 在解析生成的 ABC 符号记谱法方面取得了 99.6% 的成功率，显著高于 GPT-4（94.6%）和 GPT-3.5（65.4%）。
• 在所有五项音乐生成任务中，ChatMusician 均超越 GPT-4 和基线模型，所有条件下平均百分位得分均更高。
• ChatMusician 在 MMLU 上得分为 46.80，略高于 LLaMA2-7B-Base（46.79），表明其通用语言能力未下降，甚至可能有所提升。
• 在 MusicTheoryBench 基准测试中，ChatMusician 在零样本设置下优于 LLaMA2 和 GPT-3.5，显示出其卓越的符号音乐推理能力。
• 该模型表现出极低的记忆化程度，仅 0.02% 的训练序列被完全复制，0.24% 的序列部分匹配（≥80% 标记重叠）。
• 尽管性能出色，由于数据集构成，该模型对爱尔兰音乐存在偏向，并且由于指令多样性有限，在开放式生成任务中表现欠佳。