[论文解读] BachProp: Learning to Compose Music in Multiple Styles
BachProp 是一种深度学习模型，通过使用新颖的归一化表示法从多样化的 MIDI 数据集学习，能够以任何音乐风格生成原创音乐。在众包评估中，其生成的音乐在人类偏好测试中表现优异，被评价为与原作在多种风格（包括巴赫经文歌和弦乐四重奏）中同样受欢迎。
Hand in hand with deep learning advancements, algorithms of music composition increase in performance. However, most of the successful models are designed for specific musical structures. Here, we present BachProp, an algorithmic composer that can generate music scores in any style given sufficient training data. To adapt BachProp to a broad range of musical styles, we propose a novel normalized representation of music and train a deep network to predict the note transition probabilities of a given music corpus. In this paper, new music scores sampled by BachProp are compared with the original corpora via crowdsourcing. This evaluation indicates that the music scores generated by BachProp are not less preferred than the original music corpus the algorithm was provided with.
研究动机与目标
- 开发一种通用音乐生成模型，无需结构假设即可在任何音乐风格中进行创作。
- 解决 MIDI 表示不一致导致的节奏失真问题，从而在多样化数据集上实现有效训练。
- 实现从原始 MIDI 序列（包括多音和多轨文件）端到端学习音乐结构。
- 通过众包和现场演出，将生成音乐的主观质量与原始语料进行对比评估。
- 证明神经音乐生成可产出与原作同样受欢迎的音乐作品。
提出的方法
- 提出一种归一化 MIDI 表示法，将音高、持续时间和时序解耦为低维且一致的音符序列。
- 使用深层 LSTM 网络从归一化序列表示中预测音符转移概率。
- 在多样化 MIDI 语料库上端到端训练模型，包括单音、多音和现场录制的表演。
- 采用序列生成方法，通过从学习到的转移概率中采样，保持长时间段内的连贯性。
- 采用基于 TrueSkill 的评分系统，在众包挑战中评估生成音乐与原作之间的偏好。
- 通过弦乐四重奏现场演奏排名靠前的曲目，验证结果在真实世界审美感知中的表现。
实验结果
研究问题
- RQ1单一神经网络模型是否能在无架构偏见的情况下，跨多样化音乐类型生成连贯且风格准确的音乐？
- RQ2归一化 MIDI 表示是否能有效支持异构 MIDI 数据（包括现场录音）的训练？
- RQ3由深度学习模型生成的音乐是否能在人类偏好评估中获得与原作同等的青睐？
- RQ4该模型在节奏复杂度和结构异构性各异的数据集上表现如何？
- RQ5该模型在保持风格一致性的同时，能在多大程度上泛化到新调式和新情绪？
主要发现
- BachProp 能够在任何调式和情绪下成功生成连贯且风格准确的音乐，即使在训练数据为异构语料（如莫扎特和海顿的弦乐四重奏）时亦然。
- 在众包评估中，模型生成的音乐获得与原作同等的高偏好评分，AI 生成音乐挑战赛中前 10 名中有 9 首为 BachProp 输出。
- 原始音乐语料与 BachProp 生成的曲目在 TrueSkill 评分上无显著差异，表明偏好无明显区别。
- 弦乐四重奏现场演出后，观众投票确认对基于诺丁汉民谣和弦乐四重奏训练的 BachProp 生成曲目表现出强烈偏好。
- 归一化 MIDI 表示使模型得以在以往难以处理的数据集（如约翰·桑基对巴赫的现场录音）上进行训练，且无失真。
- 该模型保持长期连贯性，可生成任意长度的音乐，且不损失结构完整性。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。