[論文レビュー] Optical Music Recognition: State of the Art and Major Challenges

Elona Shatri, György Fazekas|arXiv (Cornell University)|Jun 14, 2020

Music and Audio Processing参考文献 72被引用数 6

ひとこと要約

この論文は、光学楽譜認識（OMR）分野における最新の動向をレビューし、従来のコンピュータビジョン手法からディープラーニング手法への移行に焦点を当てる。複雑な楽譜、手書き楽譜、標準化の欠如といった主な課題を特定し、統一されたデータセット、改善された評価指標、エンド・ツー・エンド学習の導入を提言することで、分野の発展を促進する。

ABSTRACT

Optical Music Recognition (OMR) is concerned with transcribing sheet music into a machine-readable format. The transcribed copy should allow musicians to compose, play and edit music by taking a picture of a music sheet. Complete transcription of sheet music would also enable more efficient archival. OMR facilitates examining sheet music statistically or searching for patterns of notations, thus helping use cases in digital musicology too. Recently, there has been a shift in OMR from using conventional computer vision techniques towards a deep learning approach. In this paper, we review relevant works in OMR, including fundamental methods and significant outcomes, and highlight different stages of the OMR pipeline. These stages often lack standard input and output representation and standardised evaluation. Therefore, comparing different approaches and evaluating the impact of different processing methods can become rather complex. This paper provides recommendations for future work, addressing some of the highlighted issues and represents a position in furthering this important field of research.

研究の動機と目的

• 最近の光学楽譜認識（OMR）分野における進展を包括的にレビューし、古典的なコンピュータビジョン手法からディープラーニング手法への移行に焦点を当てる。
• 低品質な画像、手書き楽譜、複雑なポリフォニック楽譜、楽譜表記における構造的曖昧性を含む、OMRにおける継続的な課題を特定する。
• 入力／出力表現および評価プロトコルの標準化が不十分であることが、異なる手法間の公平な比較を妨げていることの顕在化。
• 中間段階のOMR処理およびエンド・ツー・エンド認識の両方をカバーする、普遍的でバランスが取れ、多様性に富んだデータセットの構築を提言する。
• ディープラーニングモデルに音楽的知識や構造的ルールを統合し、評価指標を標準化することで、再現可能性とOMR分野の進歩を向上させることを提唱する。

提案手法

• OMR分野における代表的かつ最近の研究を体系的にレビューし、パイプライン段階（画像前処理、楽譜記号認識、音楽情報再構築、表記モデル構築）ごとに分類する。
• 構造化されたフレームワークを用いてOMRパイプラインの各段階を分析し、表現、評価、モularityの面での手法間のギャップを同定する。
• 表記ソフトウェア（例：Dorico、Rosegarden）を用いて高精細な楽譜を生成することで、MUSCIMA++ や DeepScores といった既存ベンチマークと整合する新しい普遍的データセットイニシャチブを提言する。
• オブジェクト検出、セグメンテーション、シーケンスモデリングを含む、OMRの全段階にディープラーニングを活用するよう推奨する。これによりエンド・ツー・エンド認識が可能になる。
• スタッフ線の幾何学的特性、音符の長さルール、キー／時間 signatures の制約といった音楽的事前知識を、ニューラルネットワークアーキテクチャに組み込む必要があることを強調する。
• 評価指標と出力形式（例：MusicXML、MIDI）の標準化を提唱し、システム間での公平なベンチマーク評価と再現可能性を実現する。

実験結果

リサーチクエスチョン

• RQ1 ディープラーニング手法は、従来のコンピュータビジョン手法と比較して、OMRシステムのパフォーマンスとアーキテクチャにどのように変化をもたらしたか？
• RQ2 手書き楽譜、複雑なピアノ形式のポリフォニック楽譜、低品質な画像といった分野における主な未解決課題は何か？
• RQ3 なぜOMR分野では入力／出力表現および評価プロトコルの標準化が不十分であり、それが進展を妨げているのか？
• RQ4 統一的で大規模かつバランスの取れたデータセットが、OMRモデルのロバスト性および一般化性能をどの程度向上させ得るか？
• RQ5 2次元空間的かつ順序的な楽譜関係を1つのディープラーニングフレームワークでモデル化することは可能か？また、そのためにはどのようなアーキテクチャ的革新が必要か？

主な発見

• ディープラーニングは、モノフォニック楽譜および印刷楽譜におけるパフォーマンスを著しく向上させたが、手書き楽譜および複雑なピアノ形式楽譜では課題が残っている。
• 評価プロトコルの標準化が不十分で、出力形式が一貫していないことが、手法間の比較を困難にし、再現性を制限している。
• CVC-MUSCIMA、MUSCIMA++、DeepScores、PrIMuS といった既存のデータセットは価値あるものだが、分類の分布が不十分に多様で、偏りが大きい。
• クラスの不均衡はOMRにおける主要な問題であり、希少な記号タイプが訓練データに十分に含まれていないため、モデルの一般化性能に悪影響を及ぼす。
• 提唱された普遍的データセットイニシャチブは、スタイル、画像品質、表記の複雑さに制御された変動を加えた合成的で高品質な楽譜の生成を目的としている。
• 2次元空間的および順序的関係を1つのディープラーニングフレームワークで効果的にモデル化できないため、エンド・ツー・エンドOMRは依然として未解決の課題のままである。