[論文レビュー] DoReMi: First glance at a universal OMR dataset

Elona Shatri, György Fazekas|arXiv (Cornell University)|Jul 16, 2021

Radiomics and Machine Learning in Medical Imaging参考文献 19被引用数 4

ひとこと要約

DoReMi は、6,400枚以上の印刷済み楽譜画像を含み、バウンディングボックス、MIDI、MEI、MusicXML、PNG ファイルを含む豊富な多段階メタデータを備えた大規模で包括的な OMR データセットを提供する。半分のデータを使用したオブジェクト検出で 64% の平均平均精度（mAP）を達成し、MUSCIMA++ および DeepScores と統合することで、エンドツーエンドの OMR 研究を支援し、評価の一貫性を向上させる。

ABSTRACT

The main challenges of Optical Music Recognition (OMR) come from the nature of written music, its complexity and the difficulty of finding an appropriate data representation. This paper provides a first look at DoReMi, an OMR dataset that addresses these challenges, and a baseline object detection model to assess its utility. Researchers often approach OMR following a set of small stages, given that existing data often do not satisfy broader research. We examine the possibility of changing this tendency by presenting more metadata. Our approach complements existing research; hence DoReMi allows harmonisation with two existing datasets, DeepScores and MUSCIMA++. DoReMi was generated using a music notation software and includes over 6400 printed sheet music images with accompanying metadata useful in OMR research. Our dataset provides OMR metadata, MIDI, MEI, MusicXML and PNG files, each aiding a different stage of OMR. We obtain 64% mean average precision (mAP) in object detection using half of the data. Further work includes re-iterating through the creation process to satisfy custom OMR models. While we do not assume to have solved the main challenges in OMR, this dataset opens a new course of discussions that would ultimately aid that goal.

研究の動機と目的

• 不一致なデータセットや評価プロトコルが引き起こす OMR 研究の分断を是正すること。
• オブジェクト検出から意味的エンコードに至る OMR の全段階を支援する包括的で複数フォーマットのデータセットを提供すること。
• MUSCIMA++ や DeepScores などの既存データセットと統合可能であることを通じて、ベンチマーク評価とモデル比較の改善を図ること。
• 視覚的データと併せて、MIDI、MEI、MusicXML といった高精度な機械可読メタデータを生成し、エンドツーエンドのディープラーニングにおける OMR を支援すること。
• 多様な音楽的要素を対象とした豊富で構造化されたアノテーションを提供することで、ユニバーサル OMR モデルの開発を支援すること。

提案手法

• 視覚的要素と意味的メタデータの正確な整合性を保つために、楽譜表記ソフトウェアを用いてデータセットを生成した。
• 各楽譜画像には、ノートヘッド、clef（ト音記号）、スラー、チュプル（連符）など、37種類の異なる楽譜記号クラスのバウンディングボックスが含まれる。
• PNG 画像、OMR メタデータ、MIDI、MEI、MusicXML という複数の出力フォーマットを提供し、OMR パイプラインとの完全な互換性を実現した。
• 半分のデータを使用したベースラインオブジェクト検出モデルが 64% の平均平均精度（mAP）を達成し、データセットの実用性を裏付けた。
• タイプセットと意味的レベルの両方のアノテーションをサポートしており、再構築や高レベルの音楽理解に関する研究を可能にした。
• 著者らは、MUSCIMA++ および DeepScores と互換性を持たせるようにデータセットを設計し、クロスデータセット評価やモデルの移行を促進した。

実験結果

リサーチクエスチョン

• RQ1 統一的で複数フォーマットの OMR データセットは、OMR 研究における一貫性と比較可能性を向上させることができるか？
• RQ2 豊富なメタデータを備えた大規模で合成生成されたデータセットは、エンドツーエンドの OMR モデル学習をどの程度支援できるか？
• RQ3 ベースラインオブジェクト検出モデルは、DoReMi のような包括的で新規の OMR データセット上でどの程度の性能を示すか？
• RQ4 DoReMi は、MUSCIMA++ や DeepScores といった既存のデータセットと効果的に統合可能か？これによりクロスデータセット評価が可能になるか？
• RQ5 ノートのピッチ、ディレイション、ダイナミクスなどの意味的メタデータを含めることで、OMR モデルの性能と一般化能力にどのような影響を与えるか？

主な発見

• DoReMi データセットには、37種類の楽譜記号クラスについて詳細なアノテーションが施された 6,400 枚以上の印刷済み楽譜画像が含まれる。
• PNG、OMR メタデータ、MIDI、MEI、MusicXML という複数のフォーマットを提供しており、OMR の全段階をカバーする。
• 半分のデータのみを用いたベースラインオブジェクト検出モデルが 64% の平均平均精度（mAP）を達成し、検出タスクにおける実用性を示した。
• MUSCIMA++ および DeepScores と統合可能であり、クロスデータセット評価やモデル互換性の向上を可能にした。
• ノートのピッチ、ディレイション、ダイナミクス、アーティキュレーションといった意味的メタデータが視覚的要素に正確にリンクされており、高レベルの OMR タスクを可能にした。
• 楽譜表記ソフトウェアの使用により、視覚的データと意味的データの高精度な整合性が確保され、実世界のデータセットで一般的なアノテーションエラーを低減した。