[論文レビュー] Audio-to-score alignment of piano music using RNN-based automatic music transcription

Taegyun Kwon, Dasaem Jeong+1 more|arXiv (Cornell University)|Nov 13, 2017

Music and Audio Processing参考文献 12被引用数 11

ひとこと要約

本稿では、ピアノ音楽の音声から譜面へのアライメントフレームワークを提案する。このフレームワークは、RNNに基づく自動音楽記録（AMT）を活用し、学習されたMIDIレベルの特徴量（具体的には88音キーの存在とクロマオフセット予測）を生成することで、正確な動的時間ワープ（DTW）アライメントを可能にする。この手法は、MAPSデータセットにおいて10 ms未塔の平均オフセット誤差を達成し、フレーム単位のノート検出と時間的に正確なオフセット特徴量を組み合わせることで、先行研究を大きく上回る性能を発揮する。

ABSTRACT

We propose a framework for audio-to-score alignment on piano performance that employs automatic music transcription (AMT) using neural networks. Even though the AMT result may contain some errors, the note prediction output can be regarded as a learned feature representation that is directly comparable to MIDI note or chroma representation. To this end, we employ two recurrent neural networks that work as the AMT-based feature extractors to the alignment algorithm. One predicts the presence of 88 notes or 12 chroma in frame-level and the other detects note onsets in 12 chroma. We combine the two types of learned features for the audio-to-score alignment. For comparability, we apply dynamic time warping as an alignment algorithm without any additional post-processing. We evaluate the proposed framework on the MAPS dataset and compare it to previous work. The result shows that the alignment framework with the learned features significantly improves the accuracy, achieving less than 10 ms in mean onset error.

研究の動機と目的

• ニューラルネットワークベースの自動音楽記録（AMT）を特徴抽出手法として活用することで、ピアノ音楽の音声から譜面へのアライメント精度を向上させること。
• 時間的精度に劣る手作業で設計された音声特徴量の限界を是正すること。
• AMTによって生成される特徴量（特にMIDI空間またはクロマ空間におけるノート存在とオフセット検出）が、従来の音声特徴量よりもアライメントタスクで優れるかどうかを検討すること。
• クロマオフセット特徴量が、特に高時間分解能においてアライメント精度を向上させる貢献度を評価すること。

提案手法

• 2つの双方向LSTMベースのAMTシステムを訓練：1つはフレームごとの88音キーまたは12クロマのバイナリ存在を予測し、もう1つはクロマ空間におけるノートオフセット検出を行う。
• 入力特徴量は、対数圧縮とセミトーンフィルタリングを施したマグニチュードを伴うマルチスケールスペクトログラムであり、性能向上のため一次微分の増幅処理が施されている。
• 最先端のAMTモデル（BöckとSchedlのモデル）を改変し、バイナリMIDI出力とオフセット検出に適応させた。
• 両方のAMTシステムから得られた学習特徴量を連結し、譜面MIDIとのアライメントに動的時間ワープ（DTW）を用いる。
• アライメント処理では後処理を一切行わず、先行研究との直接比較を可能にする。
• クロマオフセット特徴量はDLNCOにインspiredされ、減衰的かつ局所的に適応的であるように設計されており、オフセットフレームの顕著性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 RNNベースのAMTシステムは、ピアノ音楽の音声から譜面へのアライメントに有効な学習可能な特徴表現を生成できるか？
• RQ2 フレーム単位のノート存在とクロマオフセット検出を組み合わせることで、ノート存在のみを使用する場合と比較してアライメント精度が向上するか？
• RQ3 学習されたオフセット特徴量の導入が、特に50ms未塔の閾値において、アライメントの時間的精度にどのように影響を与えるか？
• RQ4 提案されたAMTベースの特徴量は、STFTやクロマなどの手作業で設計された特徴量と比較して、どの程度一般化性能を示すか？

主な発見

• 提案されたフレームワークは、10 ms未塔の平均オフセット誤差を達成し、従来手法を大きく上回るアライメント精度を実現した。
• 0 ms誤差閾値（10 ms分解能）では52.55%のオフセットが正確にアライメントされ、10 ms閾値では91.60%に上昇した。
• 88音キーのモデルにクロマオフセット特徴量を組み込むことで、中央値オフセット誤差は18.69 msから5.57 msに低下し、オフセット特徴量の重要性が明確になった。
• 音声からMIDIへの比較においてわずかに不利な点があったものの、Ewertの手作業特徴量手法を上回り、特に50 ms未塔の高分解能領域で顕著な優位性を示した。
• 12クロマバージョンのフレームワークは88音キー版と比較してわずかに精度が低く、ノートレベルの分解能がアライメントに有効であることを示唆した。
• 実際の録音データについても正常にアライメントが達成され、サウンド化結果から同期品質が確認されたことから、実用的応用可能性が示された。