[论文解读] Detecting Noteheads in Handwritten Scores with ConvNets and Bounding Box Regression

Jan Hajič, Pavel Pecina|arXiv (Cornell University)|Aug 5, 2017

Music and Audio Processing参考文献 6被引用 11

一句话总结

本文提出一种轻量级卷积神经网络（ConvNet），通过像素级分类与边界框回归检测手写乐谱中的符头，在无需去除谱线的情况下，于 MUSCIMA++ 数据集的二值化图像上实现了 0.97 的 F 分数。该方法基于形态学骨架像素动态生成候选区域，并联合学习分类与定位任务，展现出对多种手写风格与音乐复杂度的强鲁棒性。

ABSTRACT

Noteheads are the interface between the written score and music. Each notehead on the page signifies one note to be played, and detecting noteheads is thus an unavoidable step for Optical Music Recognition. Noteheads are clearly distinct objects, however, the variety of music notation handwriting makes noteheads harder to identify, and while handwritten music notation symbol {\em classification} is a well-studied task, symbol {\em detection} has usually been limited to heuristics and rule-based systems instead of machine learning methods better suited to deal with the uncertainties in handwriting. We present ongoing work on a simple notehead detector using convolutional neural networks for pixel classification and bounding box regression that achieves a detection f-score of 0.97 on binary score images in the MUSCIMA++ dataset, does not require staff removal, and is applicable to a variety of handwriting styles and levels of musical complexity.

研究动机与目标

• 解决手写乐谱中符头检测的挑战，传统基于规则的方法因手写变异性而失效。
• 开发一种机器学习驱动的检测器，使其在不同手写风格与音乐复杂度下具有泛化能力。
• 消除对谱线去除的需求，简化 OMR 流程并提升端到端性能。
• 证明仅使用轻量级 ConvNet 联合分类与回归即可超越启发式方法在手写 OMR 中的表现。
• 为离线手写光学音乐识别中可扩展、可训练的符号检测提供基础。

提出的方法

• 检测器使用目标像素生成器，从二值化乐谱图像中选取骨架像素作为检测网络的输入位置。
• 针对每个目标像素，网络预测二分类结果（是否为符头）以及编码符头边缘相对位置的边界框回归向量。
• 检测网络为小型定制 ConvNet，以端到端方式在以目标像素为中心的图像块上进行训练，输入尺寸为 51×51 以保证效率。
• 提议过滤器通过独立分类器组合多个邻近目标像素的预测结果，以优化检测输出并减少误报。
• 该方法通过图像结构动态生成区域，避免使用固定提议网格，与标准 RCNN 方法不同。
• 网络通过监督学习进行训练，使用 MUSCIMA++ 数据集中来自符头区域的正负像素作为真实标签。

实验结果

研究问题

• RQ1 轻量级 ConvNet 联合分类与边界框回归是否能在无需去除谱线的情况下，实现高精度检测手写乐谱中的符头？
• RQ2 该检测器在不同手写风格与音乐复杂度下的性能表现如何？
• RQ3 将形态学骨架像素用作目标位置在多大程度上提升了检测效率与准确性？
• RQ4 与固定网格 RCNN 方法相比，该动态提议机制在鲁棒性与推理速度方面表现如何？
• RQ5 该检测器能否泛化至低质量或退化的乐谱图像？其主要失效点是什么？

主要发现

• 在 MUSCIMA++ 数据集的二值化图像上，检测器实现了 0.97 的 F 分数，表明在多种手写风格下均具备高精度与高召回率。
• 该方法无需去除谱线，简化了 OMR 流程并减少了谱线去除带来的误差传播。
• 使用骨架像素作为目标位置将输入候选数减少至前景像素的约 10%，同时保留超过 97% 的正确符头分类。
• 检测器在复杂乐谱与多变手写风格下泛化良好，对重叠符号与非标准记号表现出强鲁棒性。
• 在低质量、模糊或二值化效果差的图像上，性能下降至 F 分数 0.85（无过滤）与 0.79（有过滤），表明对输入质量敏感。
• 后处理过滤分类器被识别为脆弱组件，因其严重依赖高质量网络输出，且无法端到端联合训练。