[論文レビュー] Multi-Task Self-Supervised Pre-Training for Music Classification

Ho-Hsiang Wu, Chieh-Chi Kao+5 more|arXiv (Cornell University)|Feb 5, 2021

Music and Audio Processing参考文献 29被引用数 4

ひとこと要約

本稿では、MFCC、クロマ、テンポグラムといった複数の手作業で作成された音声特徴をプロキシタスクとして活用することで、共通の音楽エンコーダーを学習するマルチタスク自己教師付き事前学習フレームワークを提案する。これらの多様な音声表現を再重み付け機構と組み合わせることで、ラベル付きデータが限られる状況下でも、ジャンル分類、楽器分類、リズム分類といった下流タスクにおいて顕著な性能向上を達成する。

ABSTRACT

Deep learning is very data hungry, and supervised learning especially requires massive labeled data to work well. Machine listening research often suffers from limited labeled data problem, as human annotations are costly to acquire, and annotations for audio are time consuming and less intuitive. Besides, models learned from labeled dataset often embed biases specific to that particular dataset. Therefore, unsupervised learning techniques become popular approaches in solving machine listening problems. Particularly, a self-supervised learning technique utilizing reconstructions of multiple hand-crafted audio features has shown promising results when it is applied to speech domain such as emotion recognition and automatic speech recognition (ASR). In this paper, we apply self-supervised and multi-task learning methods for pre-training music encoders, and explore various design choices including encoder architectures, weighting mechanisms to combine losses from multiple tasks, and worker selections of pretext tasks. We investigate how these design choices interact with various downstream music classification tasks. We find that using various music specific workers altogether with weighting mechanisms to balance the losses during pre-training helps improve and generalize to the downstream tasks.

研究の動機と目的

• 自己教師付き事前学習を活用することで、音楽分類におけるラベル付きデータの不足問題に対処する。
• 多様な音声プロキシタスクを用いたマルチタスク学習が、音楽表現学習における一般化性能に与える影響を調査する。
• エンコーダーのアーキテクチャ、損失重み付けメカニズム、ワーカー選択の影響が下流性能に与える影響を評価する。
• 単一タスクの事前学習と比較して、複数の音楽固有特徴を組み合わせることで、より優れた一般化性能が得られるかどうかを検証する。
• 下流タスクにおける微調整と固定特徴抽出戦略の性能を比較する。

提案手法

• 波形再構成、MFCC再構成、クロマ再構成、テンポグラム再構成という複数の自己教師付きプロキシタスクを用いて、共通のエンコーダーを事前学習する。
• 複数のプロキシタスクからの損失をバランスさせるために、再重み付け機構を用いることで、特定のタスクが優位になるのを防ぐ。
• 表現品質へのアーキテクチャの影響を評価するために、PASEおよびPASE+の2つのエンコーダー・アーキテクチャを用いる。
• 3つの下流シナリオ（教師あり学習、固定特徴抽出、微調整）を用いて、事前学習済みエンコーダーの性能を評価する。
• 下流の音楽分類タスクにおいて、エンコーダー特徴の上に線形または多層パーセプトロン（MLP）分類器を適用する。
• 大規模なラベルなし音声データセットで学習し、小規模なラベル付きデータセットで微調整することで、現実のデータ不足状況を模擬する。

実験結果

リサーチクエスチョン

• RQ1 MFCC、クロマ、テンポグラムといった複数の音楽固有特徴をプロキシタスクとして組み合わせることで、下流の音楽分類性能にどのような影響を与えるか？
• RQ2 PASEとPASE+といった異なるエンコーダー・アーキテクチャが、音楽表現学習に与える影響は何か？
• RQ3 損失重み付けメカニズムは、マルチタスク自己教師付き事前学習のバランスと効果にどのような影響を与えるか？
• RQ4 事前学習済みエンコーダーを微調整することで、固定特徴抽出よりも優れた性能が得られるか？
• RQ5 ラベル付きサンプルの数が、固定 vs. 微調整戦略の相対的性能に与える影響は何か？

主な発見

• MFCC、クロマ、テンポグラムの3つの音楽固有ワーカーを併用した結果、WLPベースラインと比較して、OpenMICでは1.9%、FMAでは4.5%、Extended Ballroomでは14%の性能向上を達成した。
• テンポグラムを追加することで、チャチャとジャイブ、フォックスロットとクイックステップといったリズム的に異なるダンスジャンルの区別が顕著に向上した。
• MFCCとクロマを併用することで、フォックスロットとルンバのようにリズムは似ているがトーンが異なるジャンルの区別が向上した。
• 十分なラベル付きデータが利用可能な場合、Extended BallroomとOpenMICでは微調整が固定特徴抽出を上回ったが、FMAでは上回らなかった。これは、データ効率の閾値があることを示唆している。
• 誤分類行列の結果、複数のワーカーを追加することで非対角成分（誤分類）が減少し、赤（正例）の変化が主に対角成分に集中していた。これは、精度の向上を示している。
• 再重み付けされたマルチタスク損失メカニズムにより、各プロキシタスクから補完的特徴を学習することができ、より強固で一般化性の高い表現が得られた。