[論文レビュー] MERT: Acoustic Music Understanding Model with Large-Scale Self-supervised Training

Yizhi Li, Ruibin Yuan+18 more|arXiv (Cornell University)|May 31, 2023

Music and Audio Processing被引用数 26

ひとこと要約

MERTは、教師モデル（RVQ-VAE音響教師とCQT音楽教師）を用いて偽ターゲットを生成する、音響音楽理解のためのマルチタスク自己教師付き事前学習パラダイムを導入し、スケーラブルなオープンソースの音楽PLMを実現して、14のMIRタスクでSOTAを達成します。

ABSTRACT

Self-supervised learning (SSL) has recently emerged as a promising paradigm for training generalisable models on large-scale data in the fields of vision, text, and speech. Although SSL has been proven effective in speech and audio, its application to music audio has yet to be thoroughly explored. This is partially due to the distinctive challenges associated with modelling musical knowledge, particularly tonal and pitched characteristics of music. To address this research gap, we propose an acoustic Music undERstanding model with large-scale self-supervised Training (MERT), which incorporates teacher models to provide pseudo labels in the masked language modelling (MLM) style acoustic pre-training. In our exploration, we identified an effective combination of teacher models, which outperforms conventional speech and audio approaches in terms of performance. This combination includes an acoustic teacher based on Residual Vector Quantisation - Variational AutoEncoder (RVQ-VAE) and a musical teacher based on the Constant-Q Transform (CQT). Furthermore, we explore a wide range of settings to overcome the instability in acoustic language model pre-training, which allows our designed paradigm to scale from 95M to 330M parameters. Experimental results indicate that our model can generalise and perform well on 14 music understanding tasks and attain state-of-the-art (SOTA) overall scores.

研究の動機と目的

• 音響音楽理解のための一般的でオープンソースの事前学習モデルの開発を動機付け、自己教師付き学習（SSL）を活用する。
• 音響的前提と音楽的前提の両方を取り入れて、音色、音高、和声、音楽構造をスケーラブルなフレームワークで捉える。
• タグ付けを超える複数の下流MIRタスクをサポートする、手頃でスケーラブルな事前学習手法を提供する。
• 将来の音響音楽事前学習作業を指針とするために、教師の構成と訓練の安定性を分析する。

提案手法

• 教師生成の疑似ラベルを用いた順序付き音楽データのマスクド言語モデリング（MLM）スタイルのSSLフレームワークを採用する。
• 音響教師（RVQ-VAE/EnCodec）を用いて、モデルに説明可能な離散化された音響ターゲットを提供する。
• 音高と和声の帰納バイアスを注入するために音楽教師（Constant-Q Transform）を追加する。
• 5秒のコンテキストウィンドウを持つトランスフォーマーベースのエンコーダを訓練し、パラメータを95Mから330Mへとスケールさせる。
• 音響的損失と音楽的損失を結合して joint objective L = alpha * L_H + L_CQT とし、表現のバランスを取る。

Figure 1: Illustration of the MERT Pre-training Framework.

実験結果

リサーチクエスチョン

• RQ1 自己教師付き事前学習が音響および音楽教師を用いて、多様なMIRタスクに対して一般化可能な表現を生み出すか。
• RQ2 異なる教師構成（k-means、RVQ-VAE/EnCodec、CQT）が、ピッチ、ビート、キー、ジャンル、感情、ソース分離タスクの下流性能にどのように影響するか。
• RQ3 数億パラメータ規模の音響音楽モデルをスケールさせる際に有効な訓練安定化戦略は何か。
• RQ4 文脈長とバッチサイズが、PLM風のフレームワークにおける音楽特有の表現学習に与える影響は何か。

主な発見

• RVQ-VAE音響教師とCQT音楽教師を用いたMERT-330Mは、複数のタスクでSOTAを達成し、従来のSOTA手法のアンサンブルに匹敵するか、それを上回る。
• open dataを用いた小型のMERT-95Mモデルは競争力があり、限られた訓練データで強い一般化を示す。
• 特にCQTのような音楽教師の手掛かりを統合することで、音響のみの設定と比べてキー検出や他の高レベルタスクが大幅に改善される。
• RVQ-VAEベースの音響ターゲットは、より大規模なK-means構成と同等の性能を提供しつつ、スケーリングコストを削減する。
• 注意の緩和と前層正規化によって訓練の安定性が向上し、より大規模なモデルスケールを可能にする。

(a) Gradient Norm