[論文レビュー] CNN based music emotion classification

Xin Liu, Qingcai Chen+3 more|arXiv (Cornell University)|Apr 19, 2017

Music and Audio Processing参考文献 8被引用数 34

ひとこと要約

この論文では、手動で選択された音響特徴量に依存せずに、生の音声スペクトログラムを入力として直接使用するCNNベースの音楽感情認識モデルを提案している。畳み込み層を用いてスペクトログラム内の空間的および時間的パターンを活用することで、CAL500およびCAL500expデータセットにおいて最先端の性能を達成し、それぞれ0.709および0.735のマイクロF1スコアを達成した。

ABSTRACT

Music emotion recognition (MER) is usually regarded as a multi-label tagging task, and each segment of music can inspire specific emotion tags. Most researchers extract acoustic features from music and explore the relations between these features and their corresponding emotion tags. Considering the inconsistency of emotions inspired by the same music segment for human beings, seeking for the key acoustic features that really affect on emotions is really a challenging task. In this paper, we propose a novel MER method by using deep convolutional neural network (CNN) on the music spectrograms that contains both the original time and frequency domain information. By the proposed method, no additional effort on extracting specific features required, which is left to the training procedure of the CNN model. Experiments are conducted on the standard CAL500 and CAL500exp dataset. Results show that, for both datasets, the proposed method outperforms state-of-the-art methods.

研究の動機と目的

• 同じ音楽セグメントに対して人間の感情反応が一貫しないという課題に対処するため、手動で選択された音響特徴量に依存しないようにすること。
• 深層畳み込みニューラルネットワーク（CNN）が、生のスペクトログラムから特徴を自動的に学習できるかどうかを検証すること。
• エンドツーエンドのディープラーニングアプローチを用いて、マルチラベル音楽感情認識分野における最先端の性能を向上させること。
• スペクトログラムベースのCNNが、標準ベンチマークデータセットCAL500およびCAL500expにおいて有効であることを検証すること。

提案手法

• モデルは、短時間フーリエ変換（STFT）を用いて計算された生のスペクトログラムを入力とし、時間領域および周波数領域の両方の情報を保持している。
• 複数の畳み込み層およびプーリング層を備えた深層CNNアーキテクチャが、スペクトログラムから階層的な空間的・時間的特徴を抽出する。
• 時間軸および周波数軸に沿った局所的な畳み込み演算を採用することで、長さが可変な音楽セグメントに対応している。
• 最終層にソフトマックス分類器を設け、マルチラベル感情予測を出力している。
• F1スコア最適化を目的として、交差エントロピー損失関数を用い、確率的勾配降下法（SGD）によりエンドツーエンドで学習を行っている。
• フィルターサイズ、ストライド、学習率などのハイパーパrameterは、検証セットを用いた10分割交差検証により最適化されている。

実験結果

リサーチクエスチョン

• RQ1 スペクトログラムに直接学習させたCNNモデルは、手作業で特徴量を抽出する従来の手法を上回る性能を発揮できるか？
• RQ2 従来の特徴工学と比較して、生のスペクトログラムを用いることで感情分類性能にどのような差が生じるか？
• RQ3 ネットワークアーキテクチャおよび学習戦略の選択が、標準データセットにおけるマルチラベル感情認識性能に与える影響は何か？
• RQ4 なぜCAL500expではCAL500よりも性能が向上しているのか？その差の要因は何か？

主な発見

• CAL500expデータセットでは、提案されたCNNモデルがマイクロF1スコア0.735を達成し、先行する最先端手法を上回った。
• CAL500データセットでは、マイクロF1スコア0.640を達成し、既存のアプローチに対して一貫した改善を示した。
• CAL500expではマクロF1スコア0.596、CAL500では0.472を達成し、すべての感情カテゴリで強力な性能を示した。
• CAL500expではハミング損失を0.212まで低減し、CAL500では0.325にまで低下させ、ラベル予測の整合性が向上した。
• AUCスコアはCAL500expで0.799、CAL500で0.675に達し、分類能の向上が確認された。
• CAL500とCAL500expの性能差は、CAL500の学習データセットが小さく、ラベル付けが曖昧であることが主な要因であると特定された。