[論文レビュー] MusicBERT: Symbolic Music Understanding with Large-Scale Pre-Training

Mingliang Zeng, Xu Tan+4 more|arXiv (Cornell University)|Jun 10, 2021

Music and Audio Processing参考文献 34被引用数 10

ひとこと要約

MusicBERT は、長大な音楽シーケンスの効率的な表現と事前学習を可能にするために、OctupleMIDIエンコーディングとバー単位のマスキングを導入した大規模な事前学習モデルであり、100万曲のデータセットを用いてメロディ補完、アコーディング提案、ジャンル・スタイル分類の4つのタスクで最先端の性能を達成している。

ABSTRACT

Symbolic music understanding, which refers to the understanding of music from the symbolic data (e.g., MIDI format, but not audio), covers many music applications such as genre classification, emotion classification, and music pieces matching. While good music representations are beneficial for these applications, the lack of training data hinders representation learning. Inspired by the success of pre-training models in natural language processing, in this paper, we develop MusicBERT, a large-scale pre-trained model for music understanding. To this end, we construct a large-scale symbolic music corpus that contains more than 1 million music songs. Since symbolic music contains more structural (e.g., bar, position) and diverse information (e.g., tempo, instrument, and pitch), simply adopting the pre-training techniques from NLP to symbolic music only brings marginal gains. Therefore, we design several mechanisms, including OctupleMIDI encoding and bar-level masking strategy, to enhance pre-training with symbolic music data. Experiments demonstrate the advantages of MusicBERT on four music understanding tasks, including melody completion, accompaniment suggestion, genre classification, and style classification. Ablation studies also verify the effectiveness of our designs of OctupleMIDI encoding and bar-level masking strategy in MusicBERT.

研究の動機と目的

• 音楽表現学習のための大規模な記号的音楽データセットと効果的な事前学習手法の不足に対処すること。
• 構造的複雑性と長大なシーケンス長のため、自然言語処理の事前学習手法を直接音楽に適用する際の制限を克服すること。
• シーケンス長を短縮しつつ豊富な音楽的情報を保持する効率的で汎用的な音楽エンコーディング手法の設計。
• 情報漏洩を防ぎ、記号的音楽の事前学習における表現学習を強化するマスキング戦略の開発。
• 広範なアブレーションおよび下流タスク評価を通じて、MusicBERTの有効性を多様な音楽理解タスクにわたり実証すること。

提案手法

• OctupleMIDIエンコーディングは、各音符を時間 signatures、テンポ、バー、位置、楽器、音高、持続時間、ベロシティの8要素のタプルとして表現し、コンactかつ汎用的な表現を可能にする。
• この手法により、1曲あたりの平均シーケンス長が3,607トークンに短縮され、REMI より4倍、CP より2倍短くなった。計算効率が向上する。
• バー単位のマスキング戦略を提案。同じバー内での同一タイプのトークン（例：音高、楽器）をすべてマスキングすることで、隣接する同一属性からの情報漏洩を回避する。
• この戦略により、隣接するトークンからのコピーによる容易な予測を防ぎ、文脈からの意味的な表現学習を促進する。
• MusicBERT は、ロック、エレクトロニカ、ジャズ、クラシックなど多様なジャンルを含む100万曲以上の音楽曲を収録した新規に構築された Million MIDI Dataset (MMD) で事前学習される。
• モデルは標準的なTransformerベースのアーキテクチャを採用し、メロディ補完、アコーディング提案、ジャンル・スタイル分類などの下流タスクで微調整される。

実験結果

リサーチクエスチョン

• RQ1 多様で大規模なデータセットで学習された大規模な事前学習モデルは、記号的音楽表現学習の向上に顕著な効果をもたらすか？
• RQ2 OctupleMIDIエンコーディングは、下流タスクに十分な音楽的情報を保持しつつ、シーケンス長を効果的に短縮できるか？
• RQ3 情報漏洩の防止および表現学習の向上において、バー単位のマスキングはランダムマスキングやトークン単位のマスキングを上回るか？
• RQ4 大規模コーパスでの事前学習は、ランダム初期化と比較して、音楽理解タスクの性能向上にどのように寄与するか？
• RQ5 MusicBERT は、フレーズレベルおよび楽曲レベルの分類を含む、さまざまな音楽理解タスクにどの程度一般化可能か？

主な発見

• MusicBERT は全4つの評価タスクで最先端の性能を達成した：メロディ補完（96.7％の正解率）、アコーディング提案（87.9％の正解率）、ジャンル分類（F1-micro 0.730）、スタイル分類（F1-micro 0.534）。
• OctupleMIDIエンコーディングは、全タスクでCP型およびREMI型エンコーディングを上回り、正解率およびF1スコアで1.0～4.7ポイントの向上を達成した。
• バー単位のマスキング戦略が最高の性能を示し、メロディ補完では96.7％の正解率、ジャンル分類では0.730のF1スコアを記録。ランダムマスキングおよびオクテットレベルマスキングを上回った。
• 事前学習により性能が顕著に向上し、メロディ補完の正解率は4.3ポイント上昇、ジャンル分類のF1スコアは13.5ポイント上昇した（事前学習なしのモデルと比較）。
• OctupleMIDIによるコンact表現により、REMI型エンコーディングと比較して計算複雑度が16倍低減され、長大なシーケンスにおける効率的な学習と推論が可能になった。
• アブレーションスタディの結果、OctupleMIDIとバー単位のマスキングの両方が、全体の性能向上に顕著に寄与することが確認された。