[论文解读] LLark: A Multimodal Instruction-Following Language Model for Music

Josh Gardner, Simon Durand+2 more|arXiv (Cornell University)|Oct 11, 2023

Music and Audio Processing被引用 4

一句话总结

LLARK 是一个用于音乐的多模态指令跟随语言模型，通过可学习的投影头将预训练的生成式音频编码器与冻结的语言模型相结合，实现了在多样化开源音乐数据集上的端到端指令微调。该模型在音乐理解、字幕生成和推理任务中达到最先进性能，且生成结果与人类判断高度一致。

ABSTRACT

Music has a unique and complex structure which is challenging for both expert humans and existing AI systems to understand, and presents unique challenges relative to other forms of audio. We present LLark, an instruction-tuned multimodal model for \emph{music} understanding. We detail our process for dataset creation, which involves augmenting the annotations of diverse open-source music datasets and converting them to a unified instruction-tuning format. We propose a multimodal architecture for LLark, integrating a pretrained generative model for music with a pretrained language model. In evaluations on three types of tasks (music understanding, captioning, reasoning), we show that LLark matches or outperforms existing baselines in music understanding, and that humans show a high degree of agreement with its responses in captioning and reasoning tasks. LLark is trained entirely from open-source music data and models, and we make our training code available along with the release of this paper. Additional results and audio examples are at https://bit.ly/llark, and our source code is available at https://github.com/spotify-research/llark .

研究动机与目标

• 解决音乐理解领域缺乏多任务、指令微调模型的问题，使其能够泛化于多样化的音乐属性与任务。
• 开发一种可扩展的端到端流程，将嘈杂、未对齐的开源音乐数据集转化为统一的指令微调格式，并附带丰富的音乐注释。
• 设计一种多模态架构，有效融合音频与文本表征，用于音乐中的指令跟随任务，采用预训练组件与可学习投影模块。
• 在多个音乐任务（分类、字幕生成、推理）上评估模型性能，展示其广泛的泛化能力与人类对齐的输出。
• 公开发布训练代码与模型权重，以支持可复现性及开源音乐人工智能的进一步研究。

提出的方法

• 该模型采用多模态架构，结合冻结的预训练音频编码器（如音乐专用）与冻结的预训练语言模型，并通过可学习的投影头将音频嵌入映射到语言模型的词元空间。
• 训练数据通过在现有开源音乐数据集基础上增加任务特定指令构建而成，包括音乐理解（如调性、节拍）、字幕生成与推理查询。
• 指令通过结构化配方生成，确保音频输入与多样化文本查询之间的对齐，从而提升模型在各类任务中的泛化能力。
• 模型通过端到端指令微调进行训练，损失函数基于语言模型头的下一个词元预测计算。
• 数据增强包括将音乐元数据（如调性、BPM、乐器配置）注入指令模板，以提升模型对核心音乐属性的理解。
• 评估包括自动基准测试与人工评估，以衡量生成响应的质量、连贯性以及在字幕生成与推理任务中与人类判断的一致性。

实验结果

研究问题

• RQ1 统一的指令微调框架能否有效将多样化、嘈杂且未对齐的开源音乐数据集转化为多任务、指令跟随的格式？
• RQ2 结合预训练音频编码器与语言模型的多模态架构，在多样化音乐理解任务上的表现，相较于特定任务的基线模型如何？
• RQ3 LLARK 的输出在字幕生成与推理任务中与人类判断的对齐程度如何？
• RQ4 通过消融研究，数据规模与模型组件对性能的影响如何？
• RQ5 完全开源的训练流程能否生成在音乐理解任务上与最先进模型相媲美的模型，即使不使用专有数据？

主要发现

• LLARK 在音乐理解、字幕生成与推理三大任务类别中均达到最先进或具有竞争力的性能，在基准数据集上优于现有基线模型。
• 人工评估显示，LLARK 的输出与人工标注的字幕及推理结果高度一致，表明其输出与人类感知高度对齐。
• 模型在任务间展现出强大的零样本泛化能力，包括对音乐风格与历史时期特征（如巴洛克时期特征）的复杂推理。
• 消融研究证实，音频编码器与多模态投影头均对性能有显著贡献，其中投影头在有效跨模态对齐中起关键作用。
• 随着训练数据规模的增加，模型性能持续提升，表明在指令微调范式下具有正向的缩放行为。
• LLARK 仅使用开源数据与模型进行训练，其训练代码与权重已公开发布，支持可复现性与社区扩展。