[論文レビュー] An Empirical Evaluation of End-to-End Polyphonic Optical Music Recognition

Sachinda Edirisooriya, Hao‐Wen Dong+2 more|arXiv (Cornell University)|Aug 3, 2021

Music and Audio Processing参考文献 22被引用数 6

ひとこと要約

本稿では、共有されたCNN-BiLSTMエンコーダーを活用して、ポリフォニック・オプティカル・ミュージック・レコognition（OMR）のための2つの新規エンドツーエンドニューラルデコーディングアーキテクチャ—FlagDecoderとRNNDecoder—を提案する。RNNDecoderは、MuseScoreから抽出された大規模なポリフォニックデータセット上で、従来の手法を上回る新しいSOTA（最先端）の記号誤り率を達成した。

ABSTRACT

Previous work has shown that neural architectures are able to perform optical music recognition (OMR) on monophonic and homophonic music with high accuracy. However, piano and orchestral scores frequently exhibit polyphonic passages, which add a second dimension to the task. Monophonic and homophonic music can be described as homorhythmic, or having a single musical rhythm. Polyphonic music, on the other hand, can be seen as having multiple rhythmic sequences, or voices, concurrently. We first introduce a workflow for creating large-scale polyphonic datasets suitable for end-to-end recognition from sheet music publicly available on the MuseScore forum. We then propose two novel formulations for end-to-end polyphonic OMR -- one treating the problem as a type of multi-task binary classification, and the other treating it as multi-sequence detection. Building upon the encoder-decoder architecture and an image encoder proposed in past work on end-to-end OMR, we propose two novel decoder models -- FlagDecoder and RNNDecoder -- that correspond to the two formulations. Finally, we compare the empirical performance of these end-to-end approaches to polyphonic OMR and observe a new state-of-the-art performance with our multi-sequence detection decoder, RNNDecoder.

研究の動機と目的

• エンドツーエンド学習に適した、大規模かつ公開可能なポリフォニックOMRデータセットの不足に対処すること。
• ポリフォニック楽譜表記における複数のヴォイスを効果的にモデル化できる新しいニューラルデコーディングアーキテクチャの開発。
• 新規データセット上でこれらのアーキテクチャを実証的に評価し、エンドツーエンドポリフォニックOMRにおける新しいSOTA性能を確立すること。
• 密集したコードや複数のヴォイスを含む困難なポリフォニック楽譜の部分における汎化性とロバスト性の向上。

提案手法

• MuseScoreフォーラムの公開ファイルからポリフォニック楽譜を抽出・アノテートするためのデータ収集ワークフローを設計し、MuseScoreポリフォニックデータセット（MSPD）およびそのハードサブセット（MSPD-Hard）を構築した。
• スタッフ線画像からの特徴抽出を保証するため、CNNに続く双方向LSTMからなる共有エンコーダーを全モデルで共通して使用した。
• FlagDecoderは、フラッグベースの記号表現を用いて、同時にピッチ、スタッフ記号、リズムを予測する多タスク二値分類問題としてポリフォニックOMRを扱う。
• RNNDecoderは、縦方向に画像スライスを列単位で処理する垂直RNNデコーダーを採用し、1つの水平位置で複数の記号を同時に予測可能にすることで、ポリフォニーを効果的にモデル化する。
• 両デコーダーは交差エントロピー損失を用いて訓練され、RNNDecoderでは各画像スライスごとに固定長の出力シーケンスを用いて可変ポリフォニーに対応した。
• モデルの評価には、全テストセットおよびハードテストセットの両方で記号誤り率（SER）を用い、ピッチとリズムの別々の指標も算出した。

実験結果

リサーチクエスチョン

• RQ1 MuseScoreのような公開楽譜リソースから、エンドツーエンドで学習可能な大規模なポリフォニックOMRデータセットを効果的に構築できるか？
• RQ2 FlagDecoderやRNNDecoderのような新規デコーディング戦略は、従来のエンドツーエンドOMRモデルと比較して、ポリフォニック音楽をどのように処理するか？
• RQ3 RNNDecoderの垂直シーケンスモデリングアプローチは、ベースラインおよび多タスク手法と比較して、密集した複数ヴォイス楽譜で性能が向上するか？
• RQ4 提案されたモデルは、トレーニング時に見られなかった困難な高ポリフォニー例にどの程度一般化できるか？

主な発見

• RNNDecoderは、全テストセットで新しいSOTAの記号誤り率を達成し、ベースラインおよびFlagDecoderモデルを上回った。
• ハードテストセット（MSPD-Hard）では、RNNDecoderが顕著なロバスト性を示し、ベースラインと比較して誤り率の上昇が小さく抑えられ、ベースラインは誤り率がほぼ2倍に増加した。
• 全モデルにおいてピッチのSERがリズムのSERよりも常に高く、特に clef やスタッフ位置の曖昧さの影響でピッチ認識がより困難であることが示唆された。
• 定性的な分析では、RNNDecoderは4ヴォイスの密集コードを正しく処理でき、複雑なコード進行において1つの音とアクセントを除き、すべての記号を正しく認識した。
• FlagDecoderは全テストセットではベースラインを上回ったが、特に高ポリフォニー下でのピッチ認識においてはハードセットでの改善が限定的であった。
• RNNDecoderは、4つの同時ヴォイスを含む高ポリフォニー例において優れた性能を示し、ベースラインはそのような状況で音の分離や正しく識別できなかった。