[论文解读] LP-MusicCaps: LLM-Based Pseudo Music Captioning

SeungHeon Doh, Keunwoo Choi+2 more|arXiv (Cornell University)|Jul 31, 2023

Music and Audio Processing被引用 4

一句话总结

本文提出 LP-MusicCaps，一个通过在音乐标签数据上微调大语言模型（LLMs）生成的大规模伪音乐字幕数据集，可生成高质量、语法正确的字幕。该方法在零样本和迁移学习设置下达到最先进性能，在 BERT-Score 和 n-gram 指标上优于监督基线模型，同时展现出更强的泛化能力与新颖字幕生成能力。

ABSTRACT

Automatic music captioning, which generates natural language descriptions for given music tracks, holds significant potential for enhancing the understanding and organization of large volumes of musical data. Despite its importance, researchers face challenges due to the costly and time-consuming collection process of existing music-language datasets, which are limited in size. To address this data scarcity issue, we propose the use of large language models (LLMs) to artificially generate the description sentences from large-scale tag datasets. This results in approximately 2.2M captions paired with 0.5M audio clips. We term it Large Language Model based Pseudo music caption dataset, shortly, LP-MusicCaps. We conduct a systemic evaluation of the large-scale music captioning dataset with various quantitative evaluation metrics used in the field of natural language processing as well as human evaluation. In addition, we trained a transformer-based music captioning model with the dataset and evaluated it under zero-shot and transfer-learning settings. The results demonstrate that our proposed approach outperforms the supervised baseline model.

研究动机与目标

• 解决大规模、公开可用的音乐字幕数据集稀缺的问题，该问题限制了模型的训练与评估。
• 克服现有数据集（如 MusicCaps）的局限性，后者规模较小（5,521 对）且难以扩展以训练鲁棒模型。
• 开发一种成本低廉、可扩展的方法，利用 LLM 生成高质量音乐字幕，替代昂贵的人工标注。
• 构建系统化的评估框架，用于 LLM 生成的音乐字幕，确保语义一致性、语法正确性与词汇丰富性。
• 证明在 LP-MusicCaps 上预训练的模型在零样本和迁移学习场景下，泛化能力优于在监督数据上训练的模型。

提出的方法

• 使用指令微调方法，通过将音乐标签转化为自然语言句子的提示，微调大语言模型（LLM）。
• 采用提示模板：'用以下标签描述音乐：[tag1, tag2, ...]'，引导 LLM 生成连贯、描述性的字幕。
• 在大规模音乐标签数据集（如 MagnaTagATune 或 MSD）上训练 LLM，生成约 220 万组与 50 万段音频剪辑配对的伪字幕。
• 应用系统化的过滤流程，确保生成字幕在语义一致性、语法正确性与词汇多样性方面达到标准。
• 通过监督微调和零样本推理，使用 LP-MusicCaps 数据集训练基于 Transformer 的音乐字幕模型。
• 在模型架构中引入交叉注意力机制，将音频表征（梅尔频谱图）与生成的文本标记对齐，以优化自回归下一个词预测。

Figure 1 : The generation process of pseudo captions by feeding a large language model with instructions and manually-annotated labels.

实验结果

研究问题

• RQ1 大语言模型能否有效从音乐标签生成高质量、自然流畅的音乐字幕，实现语义与语法的一致性？
• RQ2 通过 LLM 生成的大规模伪音乐字幕数据集是否在下游音乐字幕任务中优于现有小规模人工标注数据集？
• RQ3 与监督基线相比，基于 LLM 生成字幕预训练的模型在零样本和迁移学习设置下的泛化能力如何？
• RQ4 在多样性、新颖性与语义相关性方面，LLM 生成字幕与人工标注字幕相比质量如何？
• RQ5 使用 LLM 是否能降低数据收集的成本与时间，同时保持或提升音乐字幕模型的性能？

主要发现

• LP-MusicCaps 数据集包含约 220 万组字幕-音频对，显著扩展了音乐字幕训练数据的规模。
• 在 BERT-Score 和大多数 n-gram 指标上，基于 LP-MusicCaps 训练的模型优于监督基线模型，尤其在零样本和迁移学习场景中表现更优。
• LP-MusicCaps 模型在 BERT-Score 上相比监督基线有显著提升，表明其具备更强的语义理解能力，而非仅依赖词汇匹配。
• 该模型展现出强大的泛化能力，Novel c 得分较高，表明其能生成新颖、未在训练数据中出现过的字幕，而非记忆训练样本。
• 基于 LLM 的伪字幕生成方法减少了对昂贵人工标注数据的依赖，同时保持了高质量输出，适用于训练鲁棒的音乐字幕模型。
• 系统化评估证实，LLM 生成的字幕语法正确，与输入标签语义一致，且词汇丰富。

Figure 2 : A-vs-B test results. Each method is compared to ground truth in terms of having more true positives and fewer false positives. The proposed methods (b, c, d, e) show comparable win+tie performance to ground truth.