[論文レビュー] Improved handling of repeats and jumps in audio-sheet image synchronization

Mengyi Shan, Timothy Tsai|arXiv (Cornell University)|Oct 11, 2020

Music and Audio Processing被引用数 5

ひとこと要約

本稿では、IMSVPの未処理のスキャナーシート音楽PDFから、特徴レベルおよびセグメントレベルの両方で作業することで、rawで未処理のシート音楽PDFにおける同期を改善する、新しい音声−シート音楽同期アルゴリズム「階層的DTW」を提案する。既存のジャンプDTWを上回り、未知のジャンプ位置や繰り返しを堅牢に処理でき、不連続性を含む実世界のスキャン済みシート音楽において顕著な性能向上を達成する。

ABSTRACT

This paper studies the problem of automatically generating Youtube piano score following videos given an audio recording and raw sheet music images. Whereas previous works focus on synthetic sheet music where the data has been cleaned and preprocessed, we instead focus on developing a system that can cope with the messiness of raw, unprocessed sheet music PDFs from IMSLP. We investigate how well existing systems cope with real scanned sheet music, filler pages and unrelated pieces or movements, and discontinuities due to jumps and repeats. We find that a significant bottleneck in system performance is handling jumps and repeats correctly. In particular, we find that a previously proposed Jump DTW algorithm does not perform robustly when jump locations are unknown a priori. We propose a novel alignment algorithm called Hierarchical DTW that can handle jumps and repeats even when jump locations are not known. It first performs alignment at the feature level on each sheet music line, and then performs a second alignment at the segment level. By operating at the segment level, it is able to encode domain knowledge about how likely a particular jump is. Through carefully controlled experiments on unprocessed sheet music PDFs from IMSLP, we show that Hierarachical DTW significantly outperforms Jump DTW in handling various types of jumps.

研究の動機と目的

• 公共のリポジトリ（例：IMSVP）から入手可能な未処理のスキャナーシート音楽PDFと音声の同期を図る課題に対処すること。
• フィラー・ページ、関係のない楽章、ジャンプ／繰り返しといった実世界のアーティファクトに直面した際、既存の同期システムの限界を調査すること。
• スキャン済みシート音楽における未知のジャンプ位置や繰り返しセクションを処理できる堅牢な同期手法を開発すること。
• ジャンプや繰り返しによる不連続性が生じる実世界のシート音楽データにおいて、同期性能を向上させること。

提案手法

• 個々の staff 線内での特徴の同期と、上位レベルでのセグメント同期の2段階で作業する、二段階の同期アルゴリズム「階層的DTW」を提案。
• セグメントレベルの同期により、特定のジャンプの発生確率に関するドメイン知識を組み込み、不確実なジャンプ位置に対しても耐性を高める。
• 事前のクリーニングや前処理を必要とせず、元のデータのノイズや不一致を保持したまま、未処理のシート音楽PDF上で動作する。
• 特徴レベルおよびセグメントレベルの両方で動的時間歪み（DTW）を用い、階層的統合により同期精度を向上させる。
• 特に繰り返しやジャンプパターンの文脈において、音楽的構造に関する構造的事前知識をセグメントレベルの同期に組み込む。
• 各 staff 線ごとに独立して同期を実行し、その後セグメントレベルで結果を統合することで、局所的な歪みに対する耐性を高める。

実験結果

リサーチクエスチョン

• RQ1 既存の音声−シート音楽同期システムは、IMSVPの未処理のスキャナーシート音楽PDFに適用した場合、どのように動作するか？
• RQ2 ジャンプと繰り返しは、実世界の設定において、現在の同期アルゴリズムの性能をどの程度低下させるか？
• RQ3 ジャンプ位置が事前に不明な状況下でも、階層的同期アプローチは、ジャンプDTWのような既存手法を上回る性能を発揮できるか？
• RQ4 セグメントレベルの同期は、音楽的構造に関するドメイン知識を効果的に組み込むことで、同期性能を向上させることができるか？

主な発見

• フィラー・ページや関係のない楽章といった未処理のアーティファクトの影響により、既存のシステム（ジャンプDTWを含む）は未処理のIMSVPシート音楽では著しく性能を発揮しない。
• 音声−シート音楽同期の主なボトル neck は、ジャンプや繰り返しの誤った処理であり、特にジャンプ位置が事前に分かっていない場合に顕著である。
• ジャンプ位置が未知の状況下でも、階層的DTWはジャンプの種類にかかわらず、ジャンプDTWを顕著に上回る性能を発揮する。
• 階層的DTWにおけるセグメントレベルの同期により、音楽的構造のモデリングがより良く行われ、不連続性やノイズを含むデータに対してもより堅牢な同期が可能になる。
• 未処理のシート音楽PDFを用いた制御実験から、階層的DTWは先行手法に比べて優れた同期精度を達成することが示された。
• 本手法は、実スキャン済みシート音楽における繰り返しセクションや構造的不連続性に起因する同期誤差を効果的に低減した。