[论文解读] A database linking piano and orchestral MIDI scores with application to automatic projective orchestration

Léopold Crestel, Philippe Esling+2 more|arXiv (Cornell University)|Oct 19, 2018

Music and Audio Processing参考文献 18被引用 8

一句话总结

本文介绍了投影管弦乐数据库（POD），这是一个包含钢琴与管弦乐MIDI乐谱配对的数据库，用于研究从钢琴谱到管弦乐谱的转换。本文提出将自动投影管弦乐化作为一项机器学习任务，评估了cRBM和FGcRBM等模型，其表现中等但受类别不平衡和输出稀疏性所限，凸显了对更优数据表示与建模技术的迫切需求。

ABSTRACT

This article introduces the Projective Orchestral Database (POD), a collection of MIDI scores composed of pairs linking piano scores to their corresponding orchestrations. To the best of our knowledge, this is the first database of its kind, which performs piano or orchestral prediction, but more importantly which tries to learn the correlations between piano and orchestral scores. Hence, we also introduce the projective orchestration task, which consists in learning how to perform the automatic orchestration of a piano score. We show how this task can be addressed using learning methods and also provide methodological guidelines in order to properly use this database.

研究动机与目标

• 创建科学资源，以研究钢琴谱与其管弦乐改编之间的相关性。
• 解决缺乏将钢琴谱与管弦乐谱关联的符号数据库的问题，以支持机器学习应用。
• 定义并评估自动投影管弦乐化任务，即自动将钢琴谱进行管弦乐化。
• 为在POD数据集上训练和评估模型提供方法论指导。
• 通过符号化数据支持未来在管弦乐化、音源分离和音乐生成方面的研究。

提出的方法

• 从著名作曲家的钢琴谱和相应管弦乐谱的MIDI文件中构建投影管弦乐数据库（POD）。
• 将钢琴谱和管弦乐谱转换为二值钢琴roll表示，训练时排除静音但保留以提供上下文。
• 通过将乐器按声部分组（如所有小提琴视为一个声部）简化管弦乐谱，并丢弃力度值以使用二值单位。
• 训练条件受限玻尔兹曼机（cRBM）和因子高斯cRBM（FGcRBM），以基于当前钢琴帧和近期管弦乐历史预测管弦乐帧。
• 采用训练-测试划分评估模型，分别在帧级和事件级测量准确率。
• 评估框架包括基线模型：随机生成（Bernoulli(0.5)）和帧重复（复制前一帧）。

实验结果

研究问题

• RQ1 如何组织符号化数据，以使机器学习模型能够学习从钢琴谱到管弦乐谱的映射？
• RQ2 基于学习的模型在从钢琴谱和过往配器历史预测管弦乐帧方面的表现如何？
• RQ3 为何在POD数据集上训练的模型倾向于更频繁地预测静音而非实际音符？
• RQ4 数据表示选择（如稀疏性与静音处理）如何影响管弦乐化任务中的模型性能？
• RQ5 哪些方法论指导可确保在符号化音乐数据上对管弦乐化模型进行可靠训练与评估？

主要发现

• 随机基线模型表现极差，证实管弦乐化并非一个简单的预测任务。
• 在帧级评估中，帧重复模型优于所有其他模型，表明重复音符在管弦乐谱中较为常见。
• 在帧级框架中，FGcRBM模型优于cRBM，表明其在该设置下对时间依赖性的建模更优。
• 出人意料的是，cRBM在事件级框架中略胜于FGcRBM，可能是因为事件级序列中重复音符的频率更高。
• 模型对音符为“关闭”（即静音）的概率学习得极高，导致对静音存在强烈偏向，这归因于目标向量的稀疏性与类别不平衡。
• 尽管存在这些局限，部分情况下模型仍能生成连贯的乐段，表明模型在一定程度上捕捉到了管弦乐化的内在结构。