[論文レビュー] Onsets and Frames: Dual-Objective Piano Transcription

Curtis Hawthorne, Erich Elsen+7 more|arXiv (Cornell University)|Oct 30, 2017

Music and Audio Processing参考文献 21被引用数 43

ひとこと要約

本稿では、畳み込みニューラルネットワークと再帰ニューラルネットワークを用いて、ピアノの音符の発音時刻とフレームごとのピッチ内容を同時に予測する二目的の深層学習モデルを提案する。フレームごとの予測を発音時刻の検出に条件づけることで、MAPSデータセットにおいて、オフセットを含む音符F1スコアが100%以上向上し、より表現的な譜面出力のために相対的ダイナミクスの推定も可能となる。

ABSTRACT

We advance the state of the art in polyphonic piano music transcription by using a deep convolutional and recurrent neural network which is trained to jointly predict onsets and frames. Our model predicts pitch onset events and then uses those predictions to condition framewise pitch predictions. During inference, we restrict the predictions from the framewise detector by not allowing a new note to start unless the onset detector also agrees that an onset for that pitch is present in the frame. We focus on improving onsets and offsets together instead of either in isolation as we believe this correlates better with human musical perception. Our approach results in over a 100% relative improvement in note F1 score (with offsets) on the MAPS dataset. Furthermore, we extend the model to predict relative velocities of normalized audio which results in more natural-sounding transcriptions.

研究の動機と目的

• 音符の発音時刻とフレームごとのピッチ検出を同時にモデル化することで、多音音楽のピアノ譜面出力を向上させること。
• 従来の手法が発音時刻やフレームを個別に最適化するため、人間の聴覚と相関が低いという限界を是正すること。
• ノートの持続時間（オフセット）とダイナミクス情報を取り入れることで、音楽的表現性をよりよく捉える譜面出力の質を向上させること。
• 合成されたデータとは異なる実際のピアノ録音（Disklavier）など、多様な録音環境に対しても一般化できるモデルを開発すること。
• 標準的なフレームスコアや発音時刻のみのスコアにとどまらず、より人間の知覚に近い評価指標を確立し、ノートオフセットとダイナミクス譜面出力に重点を置くこと。

提案手法

• 発音時刻とフレームごとのピッチ活性化を同時に予測する、深層畳み込み・再帰ニューラルネットワーク（CNN-RNN）を訓練する。
• 発音時刻の予測結果を条件付き事前分布として用い、フレームごとのピッチ検出を制限することで、新たな音符が発音時刻に対応しない状態を回避する。
• 二段階の推論プロセスを採用：まず発音時刻を予測し、次にその結果をもとにフレームごとのピッチ出力を条件づけて精緻化する。
• 各発音時刻に対して相対的ダイナミクスを推定するための別ヘッドを追加し、ダイナミクス強度を推定する。
• 時間周波数表現（例：定常Q変換）を入力とし、ピッチと発音時刻検出の両方のフレーム単位のターゲットを用いる。
• 発音時刻とフレームの両方の目的関数を統合した損失関数を最適化し、時間的整合性とフレーム解像度の取り扱いに注意を払う。

実験結果

リサーチクエスチョン

• RQ1 発音時刻とフレームごとのピッチ検出を同時にモデル化することで、個別最適化に比べて譜面出力の質が顕著に向上するか？
• RQ2 発音時刻の検出結果に条件づけたフレームごとの予測が、より正確で人間の知覚に近い譜面出力につながるか？
• RQ3 ノートのオフセットとダイナミクス情報を含めることで、譜面出力の知覚的質がどの程度向上するか？
• RQ4 ドメイン特化のファインチューニングなしで、合成音源と実ピアノ録音の両方の録音環境に、モデルがどの程度一般化できるか？
• RQ5 発音時刻の許容誤差を厳しくし、オフセットの正確性を重視するような stricter 評価基準が、モデルの性能と比較に与える影響は何か？

主な発見

• MAPSデータセットにおいて、オフセットを含む音符F1スコアが100%以上向上し、従来の最先端手法を大きく上回った。
• 「close」録音設定での評価ではF1スコアが82.29から84.34に上昇し、最初の30秒のみを用いた評価では86.38にまで上昇した。これは、現実的で厳しいテスト条件でも優れた性能を示している。
• 低ダイナミクスの音符（MIDI ダイナミクス < 30）では性能が著しく低下しており、特に実録音においては、弱音や静かなピアノ音の検出に限界があることが示された。
• 24msのフレーム解像度で学習した場合、標準的な50msの許容誤差のもとで、オフセットを含む音符F1スコアは49.99にまで低下した。これは、時間解像度に敏感であり、粗いタイミングに過剰適合している可能性を示唆している。
• 未知のデータに対しても良好に一般化しており、Musopen.orgの録音、さらにはハープシコードの録音でさえも正しく譜面出力できており、楽器やジャンルの変化に対しても頑健であることが示された。
• 音声例から、ダイナミクス情報を含めた場合、より自然な響きの譜面出力が得られ、リズムとダイナミクスの正確さが向上していることが確認された。これにより、出力の知覚的表現性が著しく向上している。