[论文解读] BandNet: A Neural Network-based, Multi-Instrument Beatles-Style MIDI Music Composition Machine

Yichao Zhou, Wei Chu+2 more|arXiv (Cornell University)|Dec 18, 2018

Music and Audio Processing参考文献 14被引用 7

一句话总结

BandNet 是一种基于循环神经网络（RNN）的音乐生成系统，通过学习披头士风格的MIDI音乐，能够在极少人工干预的情况下创作出多乐器、风格准确的音乐作品。通过整合音乐理论约束（如调性一致性、和弦时序归一化、旋律音程间距），该系统生成的音乐在结构上连贯、质量高，且在主观评价中被听众评为风格相似且具有专业水准，其表现接近原版披头士歌曲。

ABSTRACT

In this paper, we propose a recurrent neural network (RNN)-based MIDI music composition machine that is able to learn musical knowledge from existing Beatles' songs and generate music in the style of the Beatles with little human intervention. In the learning stage, a sequence of stylistically uniform, multiple-channel music samples was modeled by a RNN. In the composition stage, a short clip of randomly-generated music was used as a seed for the RNN to start music score prediction. To form structured music, segments of generated music from different seeds were concatenated together. To improve the quality and structure of the generated music, we integrated music theory knowledge into the model, such as controlling the spacing of gaps in the vocal melody, normalizing the timing of chord changes, and requiring notes to be related to the song's key (C major, for example). This integration improved the quality of the generated music as verified by a professional composer. We also conducted a subjective listening test that showed our generated music was close to original music by the Beatles in terms of style similarity, professional quality, and interestingness. Generated music samples are at https://goo.gl/uaLXoB.

研究动机与目标

• 开发一种自动化、数据驱动的音乐生成系统，以捕捉披头士音乐中复杂的风格细微特征。
• 解决建模相互依赖的多乐器声部（如人声、吉他、贝斯、鼓）在不同配器密度与和声结构下的挑战。
• 通过将专家音乐理论知识整合到神经网络框架中，提升生成音乐的质量。
• 评估基于 RNN 的生成方法在极少人工干预下，是否能生成在风格与质量上与真实披头士作品难以区分的音乐。
• 确定专业创作的种子是否在主观听感质量上显著优于随机种子。

提出的方法

• 模型使用来自披头士歌曲的多通道MIDI数据序列（人声、和弦、贝斯），并将音符量化至十六分音符步长，以实现时间离散化。
• 每首歌曲在12个半音区间内进行 transposition（移调），以扩充训练数据并支持在所有音乐调性中生成音乐。
• 训练一个循环神经网络（RNN）以预测序列中的下一个音符或控制事件，从而建模多个乐器的联合分布。
• 在生成过程中嵌入音乐理论约束：和弦变化的时间点被归一化，旋律音程间距保持一致，且音符被限制在歌曲的调性内（如C大调）。
• 通过拼接多个随机或专业创作的种子生成的片段，构建完整音乐结构，每个种子生成一个2小节的起始段落，进而扩展为6小节的音乐段落。
• 系统采用序列到序列的生成方法，并结合温度控制的采样策略，以平衡创造力与连贯性。

实验结果

研究问题

• RQ1 基于 RNN 的模型能否从原始MIDI数据中学习并再现披头士音乐复杂的和声、旋律与节奏结构？
• RQ2 整合音乐理论知识在多大程度上提升了生成音乐的结构性与风格质量？
• RQ3 在主观评价中，由随机种子生成的音乐与由专业创作种子生成的音乐在质量上相比如何？
• RQ4 在风格、专业品质与感知趣味性方面，生成音乐与真实披头士歌曲的相似度如何？
• RQ5 机器学习模型能否在盲听测试中生成与人类创作音乐难以区分的音乐？

主要发现

• BandNet 生成的音乐在随机种子生成的歌曲中，平均风格相似度得分为 3.08（5分制），表明其与披头士音乐具有强烈的风格相似性。
• BandNet 生成音乐的平均专业感得分在随机种子下为 3.29，在专业种子下为 3.16，表明即使在极少人工干预下，其音乐仍具有高度的感知质量。
• BandNet 生成音乐的平均趣味性得分在随机种子下为 3.19，在专业种子下为 3.13，表明其音乐被感知为具有吸引力且具新颖性。
• 在盲听测试中，仅有 1.3% 的听众将专业创作的种子识别为真实披头士歌曲，表明模型具备良好的泛化能力且未发生数据泄露。
• 真实披头士歌曲与 BandNet 生成音乐之间的性能差距较小——风格相似度差距小于 0.202，专业品质与趣味性差距约为 0.5，表明其具备强大的模仿能力。
• 在主观评价中，使用专业创作种子并未显著优于随机种子，表明该模型可在无需专家指导的情况下独立生成高质量音乐。