[論文レビュー] Deep Watershed Detector for Music Object Recognition

Lukas Tuggener, Ismail Elezi+2 more|arXiv (Cornell University)|May 26, 2018

Music and Audio Processing参考文献 25被引用数 14

ひとこと要約

本稿では、深層学習を用いてウォーターシェッド変換用の合成エナジー・マップを生成する、音符の高解像度ページにおける微小な楽譜記号の高精度検出を可能にする、エンド・ト・エンドのオブジェクト検出手法であるDeep Watershed Detector (DWD) を提案する。DWDは、最小限の前処理とクラス不均衡補正なしに、デジタルおよび手書き楽譜データセットの両方で最先端の性能を達成する。

ABSTRACT

Optical Music Recognition (OMR) is an important and challenging area within music information retrieval, the accurate detection of music symbols in digital images is a core functionality of any OMR pipeline. In this paper, we introduce a novel object detection method, based on synthetic energy maps and the watershed transform, called Deep Watershed Detector (DWD). Our method is specifically tailored to deal with high resolution images that contain a large number of very small objects and is therefore able to process full pages of written music. We present state-of-the-art detection results of common music symbols and show DWD's ability to work with synthetic scores equally well as on handwritten music.

研究の動機と目的

• 高解像度楽譜における多数の微小で密集した楽譜記号の検出という課題に対処すること。
• 手作業で設計された前処理に依存する古典的なルールベースのOMRパイプラインの限界を克服し、複雑なまたは手書きの楽譜で失敗する問題に対処すること。
• 文脈に応じた楽譜記号の検出を可能にするエンド・ト・エンドの深層学習手法を開発し、誤差の伝搬を低減し、楽譜タイプにわたる一般化性能を向上させること。
• 再トレーニングやアーキテクチャの変更なしに、デジタルでレンダリングされた楽譜と手書き楽譜の両方のデータセットに対して、モデルの頑健性を評価すること。
• 楽譜記号データセットにおける深刻なクラス不均衡が検出性能に与える影響を調査し、レア記号の認識に向けた解決策を検討すること。

提案手法

• 本手法は畳み込みニューラルネットワークを用いて、各画素ごとのクラスマップとウォーターシェッド変換用のエナジー・マップを予測する。
• エナジー・マップは微分可能ウォーターシェッド層を介してエンド・ト・エンドで学習され、セグメンテーションプロセス全体にバックプロパゲーションが可能になる。
• ウォーターシェッド変換がエナジー・マップに適用され、各連結成分が検出された記号に対応するオブジェクト候補を生成する。
• ネットワークは、クラスマップの分類損失とエナジー・マップの正則化のための境界損失を含む組み合わせ損失関数を用いて訓練される。
• 入力画像はインターライン正規化により正規化されるが、それ以外はパッチ化や切り出しをせず、フルページ形式そのままで処理される。
• アーキテクチャはDeepScores（デジタル）およびMUSCIMA++（手書き）データセットの両方で共有されており、ドメイン一般化が可能である。

実験結果

リサーチクエスチョン

• RQ1 深層学習に基づくアプローチは、フルスコア画像上でエンド・ト・エンドに動作させることで、複雑で手作業で設計された前処理パイプラインの必要性を排除できるか？
• RQ2 合成エナジー・マップで学習されたウォーターシェッドベースの検出器は、印刷楽譜および手書き楽譜の両方で最先端の性能を達成できるか？
• RQ3 楽譜記号データセットにおける深刻なクラス不均衡は、特にレア記号の検出性能にどのように影響を与えるか？
• RQ4 オブジェクトの中心位置のみを教師として学習させたにもかかわらず、モデルは意味的な文脈表現を学習しているか？
• RQ5 DWD手法は、楽譜認識をはるかに超えて、高解像度で小物検出が求められる他のタスクにも一般化可能か？

主な発見

• DWDは、データオーグメンテーションやクラスバランス補正なしに、DeepScores（デジタルレンダリング）およびMUSCIMA++（手書き）データセットの両方で最先端の検出性能を達成する。
• レーダーラインの検出精度が極めて高く（AP@1/4）、楽譜表記における構造的要素の学習が優れていることが示された。
• クラスバランス補正が存在しないにもかかわらず、ノートヘッドのような一般的な記号については高い平均精度を維持しているが、まれな記号については性能が著しく低下している。
• トレーニングの途中以降にまれな記号に再び遭遇した際に損失が増加する傾向が観察されたことから、モデルはトレーニング中にまれな記号を忘れがちであることが示された。これは、それらがオフセットとして扱われている可能性を示唆している。
• 教師信号として中心点のみが与えられたにもかかわらず、クラスマップ予測における一貫性のあるビームセグメンテーションが観察されたことから、ネットワークは原始的なセグメンテーションマスクを学習していることが示された。
• エンド・ト・エンドの効率性において、従来のR-CNNベースのアプローチを上回り、複数段階のパイプラインによる誤差伝搬を回避している。