[論文レビュー] Unaligned Supervision For Automatic Music Transcription in The Wild

Ben Maman, Amit H. Bermano|arXiv (Cornell University)|Apr 28, 2022

Music and Audio Processing被引用数 5

ひとこと要約

本稿では、非同期な楽譜と合成データを用いた完全自動学習を可能にする、マルチインストゥルメント自動楽譜転写（AMT）の新規フレームワークNote EMを提案する。期待最大化（EM）アプローチを用いて、逐次的に転写予測と楽譜アラインメントを改善することで、MAESTROでは89.7%、MAPSでは87.3%のノートレベルF1スコアを達成し、両データセットの学習に使用していないにもかかわらず最先端の性能を示し、楽器やジャンルを問わず強力な汎化性能を示している。

ABSTRACT

Multi-instrument Automatic Music Transcription (AMT), or the decoding of a musical recording into semantic musical content, is one of the holy grails of Music Information Retrieval. Current AMT approaches are restricted to piano and (some) guitar recordings, due to difficult data collection. In order to overcome data collection barriers, previous AMT approaches attempt to employ musical scores in the form of a digitized version of the same song or piece. The scores are typically aligned using audio features and strenuous human intervention to generate training labels. We introduce NoteEM, a method for simultaneously training a transcriber and aligning the scores to their corresponding performances, in a fully-automated process. Using this unaligned supervision scheme, complemented by pseudo-labels and pitch-shift augmentation, our method enables training on in-the-wild recordings with unprecedented accuracy and instrumental variety. Using only synthetic data and unaligned supervision, we report SOTA note-level accuracy of the MAPS dataset, and large favorable margins on cross-dataset evaluations. We also demonstrate robustness and ease of use; we report comparable results when training on a small, easily obtainable, self-collected dataset, and we propose alternative labeling to the MusicNet dataset, which we show to be more accurate. Our project page is available at https://benadar293.github.io

研究の動機と目的

• 野生の録音データを最小限の監視で使用できるようにすることで、マルチインストゥルメントAMTにおけるデータ不足のボトルネックを克服すること。
• 手動によるアラインメントエラーのため、アノテーション品質が低いとされる既存のデータセット（例：MusicNet）の限界を解消すること。
• 人為的介入なしに、トランスクリプターと楽譜を音声にアラインする、完全自動でエンドツーエンドのフレームワークを構築すること。
• 既存のデータセットではカバーされていない楽器やジャンルを含め、多様な楽器とジャンルにわたる高品質な転写を実現すること。
• 合成データと非同期監視を組み合わせたアプローチが、クロスデータセット評価において完全に監視された手法を上回ることを示すこと。

提案手法

• 本手法は、ニューラルトランスクリプターと非同期楽譜を音声にアラインするための期待最大化（EM）フレームワークを採用する。
• Eステップでは、現在のトランスクリプターがラベルなし音声からノートの発音時刻とピッチを予測し、その予測をもとに尤度ベースのアラインメントによって楽譜を音声に適合させる。
• Mステップでは、Eステップで生成されたアラインメント最適化済みラベルを用いて、トランスクリプターを再学習する。
• 反復的改善の前に、合成データ上で初期化することで、実際の野生の録音データを用いた反復的精錬を可能にする。
• 堅牢性と汎化性能を向上させるために、疑似ラベル付けとピッチシフト増強を用いる。
• 楽器ID予測を組み込むことで、楽器に依存する転写を可能にし、正確なノート＋楽器評価を実現する。

実験結果

リサーチクエスチョン

• RQ1 人為的アノテーションのアラインメントがなくとも、非同期楽譜を効果的に活用して高精度なAMTモデルを学習できるか？
• RQ2 EMベースのトランスクリプターとアラインメントの共同学習は、従来の特徴ベースのアラインメントと比較して、ラベル品質と転写精度の点でどのように優れているか？
• RQ3 合成データと非同期監視を組み合わせたアプローチが、多様な楽器やジャンルの実世界の野生の録音データにどの程度汎化できるか？
• RQ4 ターゲットデータセットの学習データを一切使用しない状況でも、本手法がクロスデータセット評価で最先端の性能を達成できるか？
• RQ5 本研究で提案する代替ラベル付け方式は、MusicNetデータセットの品質を著しく向上させられるか、またその差はどの程度か？

主な発見

• MAESTROテストセットでは、MAESTROの学習データを一切使用しない状況でノートレベルF1スコア89.7%を達成し、同条件で28%のF1を報告した先行手法を大きく上回っている。
• MAPSデータセットではノートレベルF1が87.3%に達し、未学習の演奏や楽器に対しても強い汎化性能を示している。
• 本手法が生成したラベルを用いることで、テストセットの転写精度が20ポイント以上向上し、元のMusicNetアノテーションよりも顕著に改善されている。
• バイオリン、クラリネット、ハープシコード、号など11～22種類の楽器をカバーする高品質な転写が可能であり、バスーンや号など特に難しい楽器において顕著な改善が見られた。
• 大規模でキュレートされたデータセットではなく、自ら収集した少数のパフォーマンスデータでも、大規模でキュレートされたデータセットで学習した手法と同等の性能を達成しており、使用の容易さとスケーラビリティの高さを示している。
• 本研究で提案するMusicNet EMラベル付け方式は、元のMusicNetアノテーションよりも正確であり、特にホルン、バスーン、クラリネットのような楽器ではF1スコアが15ポイント以上向上しており、顕著な改善が確認された。