[论文解读] A Review of Intelligent Music Generation Systems

Lei Wang, Ziyi Zhao+4 more|arXiv (Cornell University)|Nov 16, 2022

Music and Audio Processing被引用 6

一句话总结

本文综述了最先进的智能音乐生成系统，重点关注基于深度学习和规则系统的符号音乐生成。分析了生成技术，评估了模型性能，比较了东西方音乐传统，并指出了多模态生成、情感表达以及人机协作在音乐创作中的未来趋势。

ABSTRACT

With the introduction of ChatGPT, the public's perception of AI-generated content (AIGC) has begun to reshape. Artificial intelligence has significantly reduced the barrier to entry for non-professionals in creative endeavors, enhancing the efficiency of content creation. Recent advancements have seen significant improvements in the quality of symbolic music generation, which is enabled by the use of modern generative algorithms to extract patterns implicit in a piece of music based on rule constraints or a musical corpus. Nevertheless, existing literature reviews tend to present a conventional and conservative perspective on future development trajectories, with a notable absence of thorough benchmarking of generative models. This paper provides a survey and analysis of recent intelligent music generation techniques, outlining their respective characteristics and discussing existing methods for evaluation. Additionally, the paper compares the different characteristics of music generation techniques in the East and West as well as analysing the field's development prospects.

研究动机与目标

• 提供对智能音乐生成系统最新进展的系统性综述，尤其关注符号音乐生成。
• 分析现有生成模型与评估方法在音乐创作中的优缺点。
• 比较东西方音乐传统中文音乐生成的发展轨迹。
• 识别关键挑战与未来研究方向，包括多模态生成、情感表达以及人机交互。
• 解决先前文献中人工智能音乐生成领域缺乏全面基准测试与标准化评估的问题。

提出的方法

• 根据生成方法对音乐生成系统进行分类，包括深度学习、基于规则的系统以及进化计算。
• 回顾主要的音乐表示形式，如MIDI事件、钢琴卷帘、乐谱和音频，用于符号音乐建模。
• 分析音乐生成研究中使用的评估指标与基准，强调标准化数据集与评估协议的必要性。
• 研究整合文本、音乐与视频的多模态生成方法，重点关注跨模态特征融合。
• 探索情感计算与机器人技术的整合，以实现情感表达性音乐生成与交互式表演。
• 评估模型的可解释性与可控性，作为未来基于深度学习的音乐生成系统的关键设计目标。

实验结果

研究问题

• RQ1 现代符号音乐生成系统中占主导地位的技术与架构是什么？
• RQ2 东西方音乐传统中的音乐生成模型在表示、结构与文化融合方面有何差异？
• RQ3 当前音乐生成模型的评估存在哪些局限性？标准化基准如何提升评估的可靠性？
• RQ4 情感表达在人工智能生成音乐中扮演什么角色？情感计算如何增强音乐的真实性？
• RQ5 未来发展方向（如多模态生成与机器人演奏）中，哪些最具潜力推动智能音乐创作的进步？

主要发现

• 通过捕捉长期结构依赖关系并实现可解释性，符号音乐生成在深度生成模型的推动下已取得显著进展。
• 当前系统在单音与复音旋律生成方面表现强劲，但在生成复杂且具有文化特异性的民族乐器方面仍面临挑战。
• 多模态音乐生成——同时生成音乐、歌词与视频——代表了未来的重要方向，但需要先进的跨模态特征融合技术。
• 人工智能生成音乐中的情感表达仍发展不足，大多数系统依赖信号分析而非以人为本的情感建模。
• 深度神经网络的可解释性与可控性正成为实际应用于音乐创作的关键优先事项。
• 标准化的数据格式（如MIDI、钢琴卷帘）、评估指标与基准数据集对于实现可靠比较与领域进步至关重要。