[論文レビュー] Semi-Supervised Music Tagging Transformer

Minz Won, Keunwoo Choi+1 more|arXiv (Cornell University)|Nov 26, 2021

Music and Audio Processing被引用数 13

ひとこと要約

本論文では、音声の局所的およびグローバルな特徴を効果的に捉えることで、従来のCNNベースの音楽タギングモデルを上回る自己注意型モデル、Music Tagging Transformerを提案する。完全なMillion Song Datasetを用いたノイジィーストゥーデント蒸留による半教師付き学習により、ラベル付きおよびラベルなしデータを活用することで、長時間の音声シーケンスにおける汎化性とロバスト性が著しく向上し、最先端の性能を達成する。

ABSTRACT

We present Music Tagging Transformer that is trained with a semi-supervised approach. The proposed model captures local acoustic characteristics in shallow convolutional layers, then temporally summarizes the sequence of the extracted features using stacked self-attention layers. Through a careful model assessment, we first show that the proposed architecture outperforms the previous state-of-the-art music tagging models that are based on convolutional neural networks under a supervised scheme. The Music Tagging Transformer is further improved by noisy student training, a semi-supervised approach that leverages both labeled and unlabeled data combined with data augmentation. To our best knowledge, this is the first attempt to utilize the entire audio of the million song dataset.

研究の動機と目的

• 音楽の局所的およびグローバルな音響パターンを捉える深層学習モデルを開発し、タギング性能を向上させること。
• Million Song Datasetからのラベルなしデータを活用した半教師付き学習により、音楽タギングにおけるラベル付きデータの不足という制限を克服すること。
• 従来のCNNベースのモデルが直面するチャンクベースの予測の制限を克服し、長時間の音声シーケンスを効果的に処理できるモデルアーキテクチャを設計すること。
• 従来のスプリットに知られざる問題が存在するため、Million Song Datasetの新たな、改善されたデータスプリットを提供すること。
• 大規模で現実世界のデータセットを用いて、データ拡張を組み合わせたノイジィーストゥーデント訓練の有効性を実証すること。

提案手法

• メルスペクトログ램入力を用いて、局所的な音響特徴を抽出するために浅い畳み込み層を用いる。
• 特徴シーケンスの時間的要約と長距離依存性のモデル化のため、スタックされたマルチヘッド自己注意層を採用する。
• まず教師あり学習でモデルを訓練し、その後ノイジィーストゥーデント訓練——知識蒸留とデータ拡張を組み合わせた半教師付き手法——を用いてさらに性能を向上させる。
• 学生モデルの訓練時にデータ拡張を適用し、ロバスト性と汎化性を向上させる。
• 標準的な指標（ROC-AUCとPR-AUC）を用いて、Million Song Dataset上でモデルを評価する。
• 従来のMSDスプリットに知られざるデータリークや不均衡の問題を解消するため、新たなデータスプリットを導入する。

実験結果

リサーチクエスチョン

• RQ1 Transformerベースのアーキテクチャは、教師あり設定において、既存のCNNベースの音楽タギングモデルを上回ることができるか？
• RQ2 ラベルなしデータを用いた半教師付き学習は、Million Song Datasetにおける音楽タギング性能をどの程度向上させることができるか？
• RQ3 Music Tagging Transformerは、従来のチャンクベースのCNNモデルと比較して、長時間の音声シーケンスをどのように処理するか？
• RQ4 データ拡張を組み合わせた知識蒸留（ノイジィーストゥーデント訓練）は、音楽タギングにおいて一貫した性能向上をもたらすか？
• RQ5 統一されたモデルアーキテクチャは、音楽タギングのための局所的およびグローバルな音声表現を効果的に学習できるか？

主な発見

• Music Tagging Transformerは、3分間のフルオーディオ入力でROC-AUC 0.9199、PR-AUC 0.3814を達成し、従来の最先端のCNNベースのモデルを上回った。
• モデルは入力長にかかわらず一貫した性能を示し、256×4のアテンション構成（幅×深さ）で最適な性能を発揮した。これは、長時間シーケンスのモデリング能力が優れていることを示している。
• データ拡張を組み合わせたノイジィーストゥーデント訓練は、Music Tagging Transformerおよび短いチャンク用ResNetの両方で一貫した性能向上をもたらした。これは、ラベルなしデータの価値を示している。
• より小さなパラメータ数の学生モデル（DA + KD）が、より大きなモデル（DA + KE）を上回った。これは、訓練データが限られている場合、モデル容量が最適でない可能性があることを示唆している。
• フル3分間のオーディオ入力で最も高い性能を発揮し、短い入力と比較して劣化が最小限に抑えられた。これは、チャンクベースのモデルとは異なり、長時間シーケンスで性能低下を経験しないことを意味する。
• 提案されたデータスプリットは、従来のMSDスプリットに知られざるデータリークや不均衡の問題を解消しており、より信頼性が高く再現可能な評価を可能にした。