[論文レビュー] Towards Score Following In Sheet Music Images.

Matthias Dorfer, Andreas Arzt+1 more|arXiv (Cornell University)|Aug 7, 2016

Music and Audio Processing参考文献 15被引用数 18

ひとこと要約

本論文では、記号的スコア表現（例：MusicXML、MIDI）を経由せずに、音声スニペットを楽譜画像内の対応するピクセル位置に直接マッチングするエンドツーエンドのディーブラーニングモデルを提案する。ペアドされた楽譜画像とスペクトログラムを用いて訓練されたマルチモーダル畳み込みニューラルネットワークを用いることで、単音楽器のピアノ音楽において、バケット幅内でのノートの局所化に71.72％の正確性を達成し、単音楽器のピアノ音楽における直接的な音声→楽譜画像アライメントの可能性を示している。

ABSTRACT

This paper addresses the matching of short music audio snippets to the corresponding pixel location in images of sheet music. A system is presented that simultaneously learns to read notes, listens to music and matches the currently played music to its corresponding notes in the sheet. It consists of an end-to-end multi-modal convolutional neural network that takes as input images of sheet music and spectrograms of the respective audio snippets. It learns to predict, for a given unseen audio snippet (covering approximately one bar of music), the corresponding position in the respective score line. Our results suggest that with the use of (deep) neural networks -- which have proven to be powerful image processing models -- working with sheet music becomes feasible and a promising future research direction.

研究の動機と目的

• 音声→スコアアライメントにおいて記号的スコア表現（例：MusicXML、MIDI）の必要性を排除することを目的とし、楽譜画像と音声スペクトログラムから直接学習することを可能にする。
• ノートを同時に読み取り、音楽を聴き、その対応する楽譜画像内のピクセル位置を予測するシステムの開発を目的とする。
• 生の画像および音声入力を用いてマルチモーダルニューラルネットワークを訓練することで、手動による特徴工学を必要としないエンドツーエンド学習を実現することを目的とする。
• 低リソース、単音楽器、単一 staff の設定において、直接的な音声→楽譜画像マッチングの概念的実証を確立することを目的とする。

提案手法

• モデルは、40×390ピクセルの楽譜画像と、1.2秒の音声スニペットのスペクトログラム断片（40×136フレーム）を入力とするマルチモーダル畳み込みニューラルネットワークを用いる。
• ネットワークはバケット分類を実行し、staff のx軸を離散的なバケットに分割し、各音声スニペットについてそのバケット上の確率分布を予測する。
• モデルは、真値のピクセル座標から導出されたソフトターゲットベクトルを用いて訓練され、隣接するバケット間の滑らかな補間を可能にする。
• 注意を可視化するためのサリエンシーマップが計算され、ネットワークが正確な局所化に寄与するノートヘッドやストローク特徴に注目していることが示された。
• アライメントに十分な音声的文脈を提供するため、ターゲットノート発音時刻の1.2秒前までの固定時間的文脈が使用されている。
• 推論時、モデルは記号的スコアの解析を必要とせず、与えられた音声スニペットと楽譜画像に対して推定ピクセル位置 $\hat{x}_j$ を予測する。

実験結果

リサーチクエスチョン

• RQ1 記号的スコア表現を経由せずに、ディープニューラルネットワークが楽譜画像内のピクセル位置に直接音声スニペットをアライメントできるか？
• RQ2 画像とスペクトログラム入力に基づくマルチモーダルネットワークは、単一staff 上の正しいノート位置をどれほど正確に予測できるか？
• RQ3 ソフトターゲットとバケット分類の使用は、直接回帰と比較して局所化正確性を向上させるか？
• RQ4 本モデルは、トレーニング時に見られなかった実世界の演奏（例：ピアノ曲のライブ録音）にも一般化可能か？

主な発見

• バッハの『Gメジャーのミヌエット』の実録音声において、正規化されたピクセル距離が0.0402に達し、高い局所化正確性を示した。
• 予測されたノート位置の71.72％が真値から1つのバケット幅以内に収まっており、未学習の音声においても強固な性能を示した。
• サリエンシーマップにより、ネットワークがノートヘッドやストロークスタイルといった関連する視覚的特徴に注目していることが確認され、効果的な特徴学習が行われていることが示された。
• ソフトターゲットの使用により、バケット間の滑らかな補間が可能となり、ハード回帰と比較して局所化の精度が向上した。
• 1.2秒のウォームアップ期間を経て、継続的な音声ストリーム上でオンラインスコアフォローアプリケーションが正常に実行された。これは、リアルタイム応用への可能性を裏付けた。
• 本手法は単音楽器、単一staff のピアノ音楽に対して実現可能であり、今後の複雑な複数staff スコアを扱うシステムの基盤として有望である。