[論文レビュー] MARBLE: Music Audio Representation Benchmark for Universal Evaluation

Ruibin Yuan, Yinghao Ma+23 more|arXiv (Cornell University)|Jun 18, 2023

Music and Audio Processing被引用数 6

ひとこと要約

MARBLE は、音楽の音声表現を評価するための包括的でコミュニティ主導のベンチマークであり、4つの分類階層（音響的、パフォーマンス的、スコア的、高レベルの記述）にまたがる18のタスクをカバーする。12の公開データセットを用いた統一されたプロトコルにより評価を標準化し、大規模事前学習済み音楽言語モデルが最先端の性能を達成していることが判明したが、音楽タギングや音源分離などのタスクにおいてはさらなる改善の余地が大きいことが示された。

ABSTRACT

In the era of extensive intersection between art and Artificial Intelligence (AI), such as image generation and fiction co-creation, AI for music remains relatively nascent, particularly in music understanding. This is evident in the limited work on deep music representations, the scarcity of large-scale datasets, and the absence of a universal and community-driven benchmark. To address this issue, we introduce the Music Audio Representation Benchmark for universaL Evaluation, termed MARBLE. It aims to provide a benchmark for various Music Information Retrieval (MIR) tasks by defining a comprehensive taxonomy with four hierarchy levels, including acoustic, performance, score, and high-level description. We then establish a unified protocol based on 14 tasks on 8 public-available datasets, providing a fair and standard assessment of representations of all open-sourced pre-trained models developed on music recordings as baselines. Besides, MARBLE offers an easy-to-use, extendable, and reproducible suite for the community, with a clear statement on copyright issues on datasets. Results suggest recently proposed large-scale pre-trained musical language models perform the best in most tasks, with room for further improvement. The leaderboard and toolkit repository are published at https://marble-bm.shef.ac.uk to promote future music AI research.

研究の動機と目的

• 音楽理解分野における音楽音声表現を評価するための統一的かつコミュニティ主導のベンチマークが不足しているという問題に対処すること。
• 既存の音楽表現モデルにおける分散的かつ一貫性のない評価手法を克服すること。
• 音楽家による合意に沿った階層的分類体系を用いて、多様な音楽情報検索（MIR）タスクの評価を標準化すること。
• 統一されたプロトコルとオープンツールキットを用いて、事前学習済み音楽モデルの公平で再現可能かつ拡張可能なベンチマーク評価を可能にすること。
• 中央集権的なランク付きリーダーボードとアクセス可能な評価スイートを提供することで、音楽表現学習分野の進展を促進すること。

提案手法

• 音楽家による合意に沿った4段階の分類体系（音響的、パフォーマンス的、スコア的、高レベルの記述）を採用し、MIRタスクを整理する。
• 消滅した MIREX チャレンジおよび公開済みデータセットから18の下流MIRタスクを抽出し、分類およびシーケンスラベル付けの両方のタスク（例：ビートトラッキング、音源分離）を含む。
• 3つの訓練設定（非制約的、準制約的、制約的）を用いた統一された評価プロトコルを確立し、ハイパーパrameterの制限やバックボーンの凍結の有無を変化させる。
• 再現性と公平性を確保するため、標準化された前処理およびデータ分割パイプラインを設計する。
• データセット前処理および評価用のコードを備えたツールキットを統合し、オープンソースの事前学習済みモデルの容易なベンチマーク化を可能にする。
• 9つのオープンソースの事前学習済みモデルを、タスク固有のヘッドを用いてすべてのタスクで評価し、モデルを汎用的特徴抽出器として扱う。

Figure 1 : SSL Baselines Compared to previous SOTA. The performances of the tasks are merged according to the task types demonstrated in Tab. 1 . Results not applicable are set to $0$ .

実験結果

リサーチクエスチョン

• RQ1 多様な音楽音声表現モデルを公平に評価できる包括的かつ標準化されたベンチマークをどのように設計できるか？
• RQ2 大規模事前学習済み音楽言語モデルは、他のモデルと比較して、多様なMIRタスクにどの程度一般化できるか？
• RQ3 音楽タギングや音源分離などの重要なタスクにおける性能ギャップは何か？さらなる改善はどの程度必要か？
• RQ4 制約的・準制約的・非制約的設定を含む統一プロトコルが、モデル評価の一貫性と公平性にどのように影響するか？
• RQ5 コミュニティ主導でオープンかつ拡張可能なベンチマークは、再現性の向上と音楽表現学習分野の進展を促進できるか？

主な発見

• 大規模事前学習済み音楽言語モデルは、MARBLEベンチマークの大多数のタスクで最先端または同等の性能を達成している。
• 音楽タギングや音源分離タスクにおける性能は依然として最適ではなく、表現学習分野におけるさらなる改善の余地が大きいことが示された。
• 統一されたプロトコルにより、多様なモデルとタスク間で一貫性があり再現可能な評価が可能となり、ベンチマーク手法のばらつきが低減された。
• このベンチマークは、分類タスクとシーケンスラベル付けタスクの両方を効果的に統合しており、ビートトラッキングや音源分離のようなフレーム単位の予測もカバーしている。
• GitHubおよびMARBLE公式ウェブサイトでのランク付きリーダーボードとツールキットの公開により、すでにコミュニティによる採用が進み、モデル間の公平な比較が可能となった。
• 今後のバージョンでは、より大規模で商業利用可能なデータセットの導入と、カバー曲検出やハミングによるクエリ検索といった追加タスクの統合が求められている。

(a) Scores at Acoustic-level and Score-level.