[論文レビュー] MT3: Multi-Task Multitrack Music Transcription

Josh Gardner, Ian Simon+3 more|arXiv (Cornell University)|Nov 4, 2021

Music and Audio Processing参考文献 39被引用数 4

ひとこと要約

MT3は、6つの異なるデータセットをカバーする、微調整されたT5ベースのTransformerモデルを用いた統合的でマルチタスク・マルチトラック音楽楽譜化フレームワークを提案する。このモデルは、特にギターのような低リソース楽器において、相対的に最大260%の性能向上を達成し、多様な楽器編成や粒度にわたって一貫した評価と頑健な楽器ラベル付けを可能にする。

ABSTRACT

Automatic Music Transcription (AMT), inferring musical notes from raw audio, is a challenging task at the core of music understanding. Unlike Automatic Speech Recognition (ASR), which typically focuses on the words of a single speaker, AMT often requires transcribing multiple instruments simultaneously, all while preserving fine-scale pitch and timing information. Further, many AMT datasets are "low-resource", as even expert musicians find music transcription difficult and time-consuming. Thus, prior work has focused on task-specific architectures, tailored to the individual instruments of each task. In this work, motivated by the promising results of sequence-to-sequence transfer learning for low-resource Natural Language Processing (NLP), we demonstrate that a general-purpose Transformer model can perform multi-task AMT, jointly transcribing arbitrary combinations of musical instruments across several transcription datasets. We show this unified training framework achieves high-quality transcription results across a range of datasets, dramatically improving performance for low-resource instruments (such as guitar), while preserving strong performance for abundant instruments (such as piano). Finally, by expanding the scope of AMT, we expose the need for more consistent evaluation metrics and better dataset alignment, and provide a strong baseline for this new direction of multi-task AMT.

研究の動機と目的

• 異なるデータセットにまたがるマルチタスク・マルチトラック音楽楽譜化のための統合的フレームワークの欠如に対処すること。
• 複数の低リソースデータセット間での転移学習を活用することで、音楽楽譜化におけるデータ不足を克服すること。
• 異なるAMTデータセット間で一貫した評価指標と標準化されたテスト分割を確立すること。
• 複数のデータセットを統合してトレーニングすることで、ギターなどの低リソース楽器の性能を向上させること。
• 今後のマルチ楽器音楽楽譜化研究の強力で汎用性の高いベースラインを提供すること。

提案手法

• 生の音声スペクトログラムをトークン化されたマルチトラックMIDI出力にマップする、シーケンス・ツー・シーケンスのTransformerアーキテクチャ（T5ベース）を採用する。
• モデル出力をマルチトラックMIDIファイルにマップする柔軟でコンactなトークン化スキームを採用し、異なる楽器セットを有するデータセット間での統合的トレーニングを可能にする。
• 6つのマルチトラックAMTデータセット（MAESTRO、Cerberus4、GuitarSet、MusicNet、Slakh2100、URMP）を統合し、マルチタスクトレーニングのための統一ベンチマークとして構築する。
• すべてのデータセットにわたって標準化されたテストセット分割と一貫したノートベースの指標（発音・終了・楽器F1）を適用する。
• 楽器グループ化のレベル（フラット、MIDIクラス、フル）を評価し、ラベルの粒度に応じたモデルの頑健性を評価する。
• 全6つのデータセットの混合物をエンドツーエンドでトレーニングすることで、ゼロショット一般化と低リソース性能の向上を実現する。

実験結果

リサーチクエスチョン

• RQ1 1つの汎用的Transformerモデルが、多様で低リソースなマルチトラック音楽楽譜化データセットにおいて強力な性能を達成できるか？
• RQ2 複数のデータセットを統合してトレーニングすることで、タスク特化型モデルと比較して低リソース楽器の性能がどの程度向上するか？
• RQ3 楽器ラベルの粒度（例：フル対MIDIクラス）が変化しても、モデルがどの程度高い楽器ラベル精度を維持できるか？
• RQ4 一貫した評価プロトコル（標準化された指標とテスト分割）を導入することで、AMT研究における比較可能性と再現性がどの程度向上するか？
• RQ5 データ混合と転移学習が、未観測データセットへのゼロショット一般化に及ぼす影響は何か？

主な発見

• MT3は、全6つのマルチトラックAMTデータセットにおいて最先端の性能を達成し、先行するデータセット特化型モデルやプロフェッショナルなDSPベースのソフトウェアを上回った。
• ギターなどの低リソース楽器において、MT3はベースラインモデルと比較して、楽譜化F1スコアで最大260%の相対的向上を達成した。
• モデルは高い楽器ラベル精度を維持しており、最も細かい粒度（フルグループ化）においても、発音・終了F1スコアとほぼ同等のマルチ楽器F1スコアを示しており、楽器の誤分類が最小限に抑えられていることが示された。
• leave-one-dataset-outの実験を通じて、未観測データセットに対しても良好な一般化性能を示しており、分布シフトに対して頑健であることが確認された。
• 標準化された分割と指標を備えた一貫した評価プロトコルの導入により、異なるデータセットやモデル間での公平な比較が可能になった。
• 統合的なトレーニングフレームワークにより、ピアノのような高リソース楽器の性能を劣化させることなく、低リソース楽器の性能向上が顕著に見られた。