[論文レビュー] Multi-label Music Genre Classification from Audio, Text, and Images Using Deep Features

Sergio Oramas, Oriol Nieto+2 more|arXiv (Cornell University)|Jul 16, 2017

Music and Audio Processing参考文献 25被引用数 64

ひとこと要約

本論文は MuMu を導入し、音声・テキスト・画像の多モーダルデータセットによる多ラベル音楽ジャンル分類を提案し、深層特徴ベースのモデルを音声・テキスト・画像の各モダリティで分析し、モダリティ統合の利点を示す。

ABSTRACT

Music genres allow to categorize musical items that share common characteristics. Although these categories are not mutually exclusive, most related research is traditionally focused on classifying tracks into a single class. Furthermore, these categories (e.g., Pop, Rock) tend to be too broad for certain applications. In this work we aim to expand this task by categorizing musical items into multiple and fine-grained labels, using three different data modalities: audio, text, and images. To this end we present MuMu, a new dataset of more than 31k albums classified into 250 genre classes. For every album we have collected the cover image, text reviews, and audio tracks. Additionally, we propose an approach for multi-label genre classification based on the combination of feature embeddings learned with state-of-the-art deep learning methodologies. Experiments show major differences between modalities, which not only introduce new baselines for multi-label genre classification, but also suggest that combining them yields improved results.

研究の動機と目的

• 複数のラベルを用いた、広範な単一ラベル方式を超える細粒度の音楽ジャンル分類を動機づける。
• 250ジャンルに渡るデータを31kアルバムとともに結びつけた、大規模な多モーダルデータセット MuMu を作成する。
• 各モダリティ（音声、テキスト、画像）およびモダリティ統合のための深層学習モデルを開発・評価する。
• 多ラベルジャンルタスクにおけるラベル因子化と評価指標の多様性の利点を評価する。

提案手法

• 15秒パッチの対数 CQTs に基づく CNN で音声トラック表現を学習し、トラック単位のアルバ格を集約したうえで浅い分類器を訓練する。
• tf-idf ベクトル空間モデルでアルバムテキストを表現し、Babelfy のエンティティリンクで意味的強化を行い、前向きネットワークに入力する。
• ImageNet で事前学習した ResNet-101 を用いてカバー画像特徴を抽出し、ジャンル予測のためにシグモイド出力でファインチューニングする。
• ロジスティック（バイナリクロスエントロピー）とコサイン（PPMI、SVD、低次元埋め込みによるラベル因子化）の二つのラベル埋め込みアプローチを調査する。
• モードごとの特徴ベクトルを L2 正規化して結合し、マルチラベル出力を予測する多層パーセプトロンを訓練する（ロジスティックまたはコサイン）。
• AUC（ラベルごとに平均）と Catalog Coverage@k（k=1,3,5）を用いて、正確さとラベル多様性を評価する。

実験結果

リサーチクエスチョン

• RQ1 音声、テキスト、画像からの深層学習ベースの表現は、マルチラベルのジャンル分類において手作り特徴を上回ることができるか。
• RQ2 テキストの意味的強化とラベル埋め込みは、性能と多様性をどの程度向上させるか。
• RQ3 音声、テキスト、画像の特徴のマルチモーダル統合は、MuMuジャンルに対して単一モダリティモデルを上回るか。
• RQ4 ラベル空間の次元削減は、精度とカタログカバレッジにどのように影響するか。

主な発見

• 深層学習音声モデルは従来の手作り音声特徴（例: timbre-mlp ベースライン）を大幅に上回る。
• テキストベースのアプローチ（特に意味的強化を用いる場合）は、音声のみよりも高い AUC とカタログカバレッジを示す。
• 画像ベースの分類は他モダリティに遅れを取るが、マルチモーダル性能を改善する補完情報を提供する。
• モダリティ統合（A+T+I）は、コサインまたはロジスティックのターゲットで、単一モダリティを上回り、総合的なAUCとカバレッジで最も良いことが多い。
• ラベル因子化（コサイン）は、ロジスティックと比較していくつかの設定でAUCを維持しつつカバレージを改善する。
• MuMu データセットは、31kアルバム、147kトラック、447k レビューを含む大規模な多ラベル・多モーダルジャンル研究を可能にする。