[论文解读] From Artificial Neural Networks to Deep Learning for Music Generation -- History, Concepts and Trends

Jean-Pierre Briot|arXiv (Cornell University)|Apr 7, 2020

Music and Audio Processing参考文献 54被引用 11

一句话总结

本文全面介绍了音乐生成中的深度学习技术，追溯了从20世纪80年代末期人工神经网络到现代架构的发展历程。文章提出了一套概念性框架以分类当前的系统，分析了关键架构与表征策略，并探讨了在控制、结构、创造力和交互性方面存在的开放性挑战，倡导在音乐创作中采用人机协作模式。

ABSTRACT

The current wave of deep learning (the hyper-vitamined return of artificial neural networks) applies not only to traditional statistical machine learning tasks: prediction and classification (e.g., for weather prediction and pattern recognition), but has already conquered other areas, such as translation. A growing area of application is the generation of creative content, notably the case of music, the topic of this paper. The motivation is in using the capacity of modern deep learning techniques to automatically learn musical styles from arbitrary musical corpora and then to generate musical samples from the estimated distribution, with some degree of control over the generation. This paper provides a tutorial on music generation based on deep learning techniques. After a short introduction to the topic illustrated by a recent exemple, the paper analyzes some early works from the late 1980s using artificial neural networks for music generation and how their pioneering contributions have prefigured current techniques. Then, we introduce some conceptual framework to analyze the various concepts and dimensions involved. Various examples of recent systems are introduced and analyzed to illustrate the variety of concerns and of techniques.

研究动机与目标

• 提供关于音乐生成深度学习技术的教程，连接历史基础与当前进展。
• 分析20世纪80年代末基于神经网络的开创性音乐生成系统及其对现代方法的影响。
• 提出一个概念性框架，基于架构、表征和控制机制，对多样化的基于深度学习的音乐生成系统进行分类。
• 研究AI生成音乐中的关键挑战，如结构连贯性、创造力和交互性。
• 倡导采用人机协作的音乐创作模式，而非完全自主的系统，强调渐进式与交互式生成的重要性。

提出的方法

• 追溯音乐生成从早期基于规则和马尔可夫模型的系统到现代深度神经网络的发展脉络。
• 基于表征（如符号化、音频、标记化）、架构（如RNN、Transformer、VAE、GAN）和控制机制，提出音乐生成系统的分类体系。
• 分析特定架构，如C-RBM用于条件生成，Music-VAE用于分层结构，MusicTransformer用于注意力机制建模。
• 研究条件策略，包括输入条件（如Anticipation-RNN）、输出约束（如C-RBM）以及强化学习（如RL Tuner），以提升控制能力。
• 探讨混合与复合架构，如将自编码器与生成模型结合，以提升样本质量和结构连贯性。
• 提出一个概念性框架，以理解音乐生成系统中表征、架构与控制之间的相互作用。

实验结果

研究问题

• RQ1 20世纪80年代末期基于人工神经网络的早期方法如何为现代基于深度学习的音乐生成奠定基础？
• RQ2 现代基于深度学习的音乐生成系统在架构和表征维度上的关键差异是什么？
• RQ3 如何有效将控制机制整合到深度生成模型中，以实现对调性、节奏或曲式等音乐约束的强制执行？
• RQ4 可采用哪些策略来增强AI生成作品的结构连贯性与长期音乐吸引力？
• RQ5 在设计深度学习系统时，应如何支持交互式的人机协作音乐创作，而非取代人类创造力？

主要发现

• 20世纪80年代末期的早期神经网络系统，如使用玻尔兹曼机的系统，通过展示从数据中学习音乐风格的可行性，预示了现代深度学习音乐生成的发展。
• 条件架构如C-RBM可通过基于调性或节奏等音乐约束进行条件控制，有效提升生成结果与期望音乐特性的对齐。
• 分层架构如Music-VAE通过在多级抽象层次上建模音乐，支持生成更长且结构连贯的作品。
• Transformer与注意力机制模型如MusicTransformer在建模音乐中的长程依赖关系方面达到最先进性能，使生成作品更具表现力和连贯性。
• 强化学习方法如RL Tuner可通过反馈信号优化生成过程，使系统能够学习生成满足复杂、用户定义目标的音乐。
• 尽管技术不断进步，当前模型生成的音乐往往在长时间跨度内保持风格一致但结构单调，凸显了对更优结构归纳机制的迫切需求。