[論文レビュー] Music theme recognition using CNN and self-attention

Manoj Sukhavasi, Sainath Adapa|arXiv (Cornell University)|Nov 16, 2019

Music and Audio Processing参考文献 17被引用数 14

ひとこと要約

本論文では、モバイルNetV2と自己注意メカニズムを組み合わせたハイブリッドディープラーニングモデルを提案し、音楽のテーマとムード認識に応用する。メルスペクトログ램特徴量とデータ拡張を活用することで、MediaEval 2019 PR-AUC-macro ランキングで4位を達成し、ベースラインのVGG風モデルを著しく上回り、音楽オーディオにおける長期間の時間的依存関係を捉えるために自己注意メカニズムの有効性を示した。

ABSTRACT

We present an efficient architecture to detect mood/themes in music tracks on autotagging-moodtheme subset of the MTG-Jamendo dataset. Our approach consists of two blocks, a CNN block based on MobileNetV2 architecture and a self-attention block from Transformer architecture to capture long term temporal characteristics. We show that our proposed model produces a significant improvement over the baseline model. Our model (team name: AMLAG) achieves 4th place on PR-AUC-macro Leaderboard in MediaEval 2019: Emotion and Theme Recognition in Music Using Jamendo.

研究の動機と目的

• ディープラーニングを用いて、ムードとテーマ認識のための自動音楽タグ付けを改善すること。
• 可変長の音楽トラックにおいて、長期間の時間的依存関係を捉える課題に対処すること。
• MTG-Jamendoデータセットの自動タグ付け-ムードテーマサブセットにおける性能を向上させること。
• 音声分類のためのMobileNetV2と自己注意メカニズムを組み合わせることの有効性を評価すること。
• MediaEval 2019 音楽における感情とテーマ認識タスクで最先端の結果を達成すること。

提案手法

• モデルは事前に計算されたメルスペクトログラムを入力とし、ランダムクロッピング、スケーリング、SpecAugment、Mixupによる正規化と拡張を実施する。
• 1チャネルのメルスペクトログラムを2つの畳み込み層を用いて3チャネルテンソルに変換することで、MobileNetV2のバックボーンを1チャネル入力に適応させる。
• 変換器アーキテクチャにインspiredされた自己注意ブロックを導入し、マルチヘッドアテンションと位置エンコーディングを用いて長距離の時間的依存関係を捉える。
• 入力を16のセグメントに分割し、各セグメント（256タイムステップ）をMobileNetV2で処理した後、自己注意ブロックに供給する。
• 2つの予測ヘッドを用いる：1つはMobileNetV2単体、もう1つはMobileNetV2＋自己注意の組み合わせで、訓練中に損失を統合する。
• 訓練ではクラスごとのエアリー・ストッピングと学習率の段階的低下戦略を採用し、60エポック後にAdamからNesterov勾配降下法を用いたSGDに切り替えることで、一般化性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 モバイルNetV2のような軽量なCNNアーキテクチャが、音楽タグ付けのための判別的特徴量をメルスペクトログラムから効果的に抽出できるか？
• RQ2 自己注意メカニズムを統合することで、音楽オーディオにおける長期間の時間的パターンのモデリングが向上するか？
• RQ3 MobileNetV2と自己注意の組み合わせは、マルチラベル音楽ムードおよびテーマ分類においてベースラインモデルと比べてどのように差をつけるか？
• RQ4 SpecAugment や Mixup といったデータ拡張技術が、この音声タグ付けタスクにおける一般化性能の向上にどの程度寄与するか？
• RQ5 一部のクラスでは共同学習において改善が見られないのはなぜか？ クラス固有の学習戦略はこれを是正できるか？

主な発見

• 提案モデル（MobileNetV2＋自己注意）は、MediaEval 2019 PR-AUC-macro ランキングで4位を達成し、スコアは0.125896を記録した。
• ROC-AUC-macroは0.752886まで向上し、ベースラインのVGG風モデル（0.725821）を著しく上回った。
• F-score-macroは0.182957にまで上昇し、ベースライン（0.165694）およびMobileNetV2単体モデル（0.151891）を上回った。
• リCALL-macroは0.39164を達成し、ベースラインと比較して全クラスにおける正例ラベルの検出性能が向上した。
• クラス固有のエアリー・ストッピングを用いることで、個々のラベルの収束が改善されたが、全体としての共同学習が依然としてより効果的であった。
• 自己注意とMobileNetV2の組み合わせは、単体のMobileNetV2やResNeXt、OpenL3ベースのモデルと比較して、より優れた性能を示した。