[论文解读] GiantMIDI-Piano: A large-scale MIDI dataset for classical piano music

Qiuqiang Kong, Bochen Li+2 more|arXiv (Cornell University)|Oct 11, 2020

Music and Audio Processing被引用 14

一句话总结

本论文介绍了GiantMIDI-Piano，这是一个大规模数据集，包含2,786位作曲家的10,855首独特古典钢琴作品，共3870万条转录音符。该数据集通过从YouTube抓取音频并利用IMSLP元数据进行处理，使用卷积神经网络（CNN）检测独奏钢琴演奏，并将这些音频转录为包含开始时间、结束时间、音高、动态力度和 sustain 踩弦踏板信息的高保真MIDI文件，与MAESTRO数据集相比，转录相对误差率为0.094。

ABSTRACT

Symbolic music datasets are important for music information retrieval and musical analysis. However, there is a lack of large-scale symbolic datasets for classical piano music. In this article, we create a GiantMIDI-Piano (GP) dataset containing 38,700,838 transcribed notes and 10,855 unique solo piano works composed by 2,786 composers. We extract the names of music works and the names of composers from the International Music Score Library Project (IMSLP). We search and download their corresponding audio recordings from the internet. We further create a curated subset containing 7,236 works composed by 1,787 composers by constraining the titles of downloaded audio recordings containing the surnames of composers. We apply a convolutional neural network to detect solo piano works. Then, we transcribe those solo piano recordings into Musical Instrument Digital Interface (MIDI) files using a high-resolution piano transcription system. Each transcribed MIDI file contains the onset, offset, pitch, and velocity attributes of piano notes and pedals. GiantMIDI-Piano includes 90% live performance MIDI files and 10\% sequence input MIDI files. We analyse the statistics of GiantMIDI-Piano and show pitch class, interval, trichord, and tetrachord frequencies of six composers from different eras to show that GiantMIDI-Piano can be used for musical analysis. We evaluate the quality of GiantMIDI-Piano in terms of solo piano detection F1 scores, metadata accuracy, and transcription error rates. We release the source code for acquiring the GiantMIDI-Piano dataset at https://github.com/bytedance/GiantMIDI-Piano

研究动机与目标

• 解决音乐信息检索（MIR）与音乐分析领域中缺乏大规模符号化古典独奏钢琴音乐数据集的问题。
• 创建一个全面且高质量的MIDI数据集，涵盖多个历史时期的不同作曲家及其作品。
• 开发并验证一套自动化检测独奏钢琴录音并从音频中进行高分辨率转录的处理流程。
• 从独奏钢琴检测、元数据准确性及转录误差率等方面评估数据集的质量。
• 发布开源工具，以支持数据集的可复现性获取与处理。

提出的方法

• 从IMSLP提取作曲家姓名与作品名称，生成用于YouTube音频搜索的查询语句。
• 使用卷积神经网络（CNN）从YouTube音频中检测独奏钢琴录音，F1得分达到88.14%。
• 应用高分辨率钢琴转录系统，将检测到的音频转换为包含开始时间、结束时间、音高、动态力度及sustain踩弦踏板事件的MIDI文件。
• 通过筛选音频标题中包含作曲家姓氏的条目，筛选出7,236首作品的子集，以提升数据质量。
• 使用对齐指标（删除、插入、替换及误差率）衡量转录质量，并与MAESTRO数据集进行比较。
• 定义相对误差指标，通过从GiantMIDI-Piano总误差中减去MAESTRO的误差，估算转录特异性误差。

实验结果

研究问题

• RQ1 基于深度学习的系统在从非结构化YouTube音频中检测独奏钢琴演奏方面的有效性如何？
• RQ2 该转录系统在真实音频录音中对音乐事件（开始时间、音高、动态力度）的保真度如何？
• RQ3 该MIDI数据集在作曲家数量、作品数量及总时长方面的整体规模与多样性如何？
• RQ4 GiantMIDI-Piano的转录质量与现有基准（如MAESTRO）相比如何？
• RQ5 该数据集能否支持有意义的音乐分析，例如分析不同历史时期作曲家之间音级、音程与和弦的分布特征？

主要发现

• GiantMIDI-Piano包含2,786位作曲家的10,855首独特古典钢琴作品，涵盖1,237小时音乐内容，共3870万条转录音符。
• 经筛选的子集包含1,787位作曲家的7,236首作品，共2430万条转录音符，通过基于标题的过滤策略显著提升了数据质量。
• 独奏钢琴检测系统的F1得分为88.14%，表明其在识别相关音频内容方面表现优异。
• 与MAESTRO相比，转录系统的相对误差率为0.094，表明其转录保真度适中但可接受。
• 该数据集支持音乐分析，如通过六位不同时期作曲家的音级、音程、三和弦与四和弦频率分布所展示的分析结果。
• 观察到误差率异常值，例如巴赫《降A大调前奏曲》的误差率为0.679，主要由于非标准调音（A4 ≠ 440 Hz）所致。