[論文レビュー] Live Score Following on Sheet Music Images

Matthias Dorfer, Andreas Arzt+3 more|arXiv (Cornell University)|Dec 15, 2016

Music and Audio Processing参考文献 5被引用数 7

ひとこと要約

本論文は、1本の staff におけるモノフォニックピアノ音楽のリアルタイム追跡を実現する、画期的なエンドツーエンドのディープラーニング手法を提示している。本手法は、音楽スコアの画像と音声ストリームを直接処理するマルチモーダル畳み込みニューラルネットワークを用い、3つの簡単な楽曲を対象としたプロトタイプデモを通じて、単一の staff におけるリアルタイム追跡を達成した。

ABSTRACT

In this demo we show a novel approach to score following. Instead of relying on some symbolic representation, we are using a multi-modal convolutional neural network to match the incoming audio stream directly to sheet music images. This approach is in an early stage and should be seen as proof of concept. Nonetheless, the audience will have the opportunity to test our implementation themselves via 3 simple piano pieces.

研究の動機と目的

• 楽譜の記号的表現を必要とせず、直接スコア画像に処理を施すスコアフォローシステムの開発。
• 音声スペクトログ램と視覚的スコア特徴を統合するマルチモーダルニューラルネットワークを用いて、リアルタイムでの音声-スコア同期を実現。
• ハードウェア制限やモデルサイズの制約にもかかわらず、画像ベースのスコアフォローの可能性を実証するためのプロトタイプとしての有効性を示すこと。
• 将来の多声・複数 staff 対応への一般化の可能性を検討すること。
• ネットワークの誤分類を補償するため、オンラインのダイナミックタイムワープ（DTW）を用いた後処理により、追跡の安定化を図ること。

提案手法

• マイクを介してライブ音声を取得し、22.05kHzで2048サンプルのFFT窓を用い、1秒間に15フレームのレートでログスペクトログラムに前処理する。
• 次に、次元削減のため、80Hz～8kHzの24バンドの正規化された対数フィルターバンクを適用し、周波数ビンを136に圧縮する。
• 音声コンテキストとして、40フレーム（約2.7秒）をマルチモーダルCNNの入力とし、音声と視覚的スコア位置を一致させるように学習する。
• スコア画像から1本の staff リジョンを抽出し、40ビンに線形量子化して、可能な位置を表す。
• ネットワークは、音声コンテキストと各スコアビンとの一致確率を計算し、最も確率の高いスコア位置を出力する。
• 予測の滑らかさを向上させ、誤分類による追跡のずれを低減するために、オンラインのダイナミックタイムワープ（DTW）を後処理として適用する。

実験結果

リサーチクエスチョン

• RQ1 ディープラーニングモデルは、記号的スコア表現を必要とせず、ライブ音声とスコア画像を直接一致させることができるか？
• RQ2 マルチモーダルCNNは、音声スペクトログラムとスコアの視覚的特徴を一致させることで、リアルタイムのスコアフォローにどの程度有効であるか？
• RQ3 このシステムは、テンポの変化に対しても、リアルタイムで追跡の安定性を保てるか？
• RQ4 今後の研究において、多声や複数 staff の音楽への応用は可能か？
• RQ5 オンラインのダイナミックタイムワープ（DTW）を用いた後処理は、追跡のロバスト性を顕著に向上させるか？

主な発見

• 本システムは、Twinkle Twinkle Little Star、バッハのGメジャーのミニエット、The Riddle の3つのモノフォニックピアノ楽曲において、音声とスコア画像のみを用いて、リアルタイムでのスコアフォローを成功裏に実現した。
• ハードウェア制限のため、各楽曲ごとにモデルを別々に訓練しているが、これは一般化に向けたより効率的なアーキテクチャの必要性を示唆している。
• モデルに履歴統合が組み込まれていないにもかかわらず、オンラインのDTWを用いた後処理により、追跡の安定化とずれの低減が効果的に達成された。
• 予備実験の結果、多声や複数 staff のスコアに対しても本アプローチが原則として一般化可能であることが示唆された。
• 単一 staff の簡単な音楽において、機能的な追跡が達成されたことから、画像ベースのスコアフォローというアプローチが、実用的な研究分野として有効であることが検証された。
• GPUの欠如による制限から、デモ環境では、特定の楽曲に事前に訓練されたモデルに限定されたリアルタイム推論が可能にとどまり、モデルの圧縮や効率化の改善が今後の課題であることが明らかになった。