[论文解读] A Survey of AI Music Generation Tools and Models

Yueyue Zhu, Jared Baca+2 more|arXiv (Cornell University)|Aug 24, 2023

Music Technology and Sound Studies被引用 4

一句话总结

本综述对人工智能音乐生成工具与模型进行了全面分析，将其分类为基于参数、基于文本（提示驱动）和基于视觉的方法。评估了其功能、局限性及底层机制，强调了在不同用户群体（从初学者到专业人士）中透明度、可定制性和可用性的重要性。

ABSTRACT

In this work, we provide a comprehensive survey of AI music generation tools, including both research projects and commercialized applications. To conduct our analysis, we classified music generation approaches into three categories: parameter-based, text-based, and visual-based classes. Our survey highlights the diverse possibilities and functional features of these tools, which cater to a wide range of users, from regular listeners to professional musicians. We observed that each tool has its own set of advantages and limitations. As a result, we have compiled a comprehensive list of these factors that should be considered during the tool selection process. Moreover, our survey offers critical insights into the underlying mechanisms and challenges of AI music generation.

研究动机与目标

• 提供人工智能音乐生成工具与模型的系统性综述，重点关注其功能性和用户可访问性。
• 将音乐生成方法分类为三类：基于参数、基于文本（提示驱动）和基于视觉的方法。
• 评估开源与商业人工智能音乐工具的优势与局限性，尤其关注透明度、可定制性和音质。
• 识别人工智能音乐生成中的关键挑战，包括原创性不足、长篇结构连贯性差以及模型可解释性弱。
• 根据用户的音乐需求、技术专长和控制程度，指导用户选择合适的工具。

提出的方法

• 将人工智能音乐生成工具分为三类：基于参数（如 Mubert、Boomy）、基于文本（如 SongR、Aiva.ai）和基于视觉（如视频转MIDI模型）的方法。
• 基于公开演示、文档和技术说明收集并分析工具，重点关注模型透明度和用户界面设计。
• 使用灵活性、多乐器支持和与软件合成器的集成等标准评估模型。
• 研究神经架构，包括 MusicVAE、TransformerVAE 和扩散模型（如去噪扩散概率模型），用于序列生成。
• 分析利用表演视频中人体关键点推断MIDI表示的视觉模型，实现视频驱动的音乐生成。
• 评估MIDI作为可解释中间表示的作用，使生成后编辑成为可能，从而在合成前实现灵活处理。

实验结果

研究问题

• RQ1 基于参数、基于文本和基于视觉的人工智能音乐生成工具在功能、用户控制力和输出质量方面有何差异？
• RQ2 商业人工智能音乐工具在技术与可用性方面存在哪些关键局限性，尤其在透明度和模型可解释性方面？
• RQ3 人工智能生成的音乐在长篇作品中能在多大程度上保持音乐连贯性和风格一致性？
• RQ4 不同模型架构（如VAE、Transformer、扩散模型）如何影响生成音乐的质量与创造力？
• RQ5 MIDI表示在实现人工智能音乐生成的可解释性与后期处理灵活性方面发挥何种作用？

主要发现

• 基于参数的工具（如 Mubert 和 Boomy）通过用户定义的参数（如情绪、流派和节拍）实现快速音乐生成，但通常缺乏深度定制或模型透明度。
• 基于文本和提示驱动的模型，包括使用扩散架构的模型，能生成更具音乐复杂度的作品，但在乐器选择和编排灵活性方面可能不足。
• 基于视觉的模型成功利用人体关键点将表演视频映射为MIDI表示，实现可解释且可编辑的视频驱动音乐生成。
• 尽管已有进展，大多数模型在生成具有持续主题或结构方向的长篇音乐方面仍存在困难，表明长期连贯性是主要挑战。
• 基于MIDI的输出具有高度可解释性和编辑潜力，但需要外部软件合成器才能生成可听波形，增加了工作流程的复杂性。
• 商业工具通常隐藏其底层模型架构，限制了可复现性与全面评估，尤其对寻求技术洞察的研究人员而言。