[論文レビュー] Stacked Convolutional and Recurrent Neural Networks for Music Emotion Recognition

M. S. S. Malik, Sharath Adavanne+4 more|arXiv (Cornell University)|Jun 7, 2017

Music and Audio Processing参考文献 26被引用数 45

ひとこと要約

本稿では、感情の高揚度-評価空間における連続的音楽感情認識のための軽量なスタックドCNN-RNNアーキテクチャを提案する。従来の手法と比較して顕著に少ないパラメータ数で最先端の性能を達成した。Rawなログメルバンドエネルギー特徴量を用いて10,000パラメータで構成されるモデルは、MediaEval2015データセットで平均RMSE 0.258を達成し、パラメータ数が400分の1の前例SOTAシステムを上回る性能を示した。

ABSTRACT

This paper studies the emotion recognition from musical tracks in the 2-dimensional valence-arousal (V-A) emotional space. We propose a method based on convolutional (CNN) and recurrent neural networks (RNN), having significantly fewer parameters compared with the state-of-the-art method for the same task. We utilize one CNN layer followed by two branches of RNNs trained separately for arousal and valence. The method was evaluated using the 'MediaEval2015 emotion in music' dataset. We achieved an RMSE of 0.202 for arousal and 0.268 for valence, which is the best result reported on this dataset.

研究の動機と目的

• 連続的音楽感情認識（高揚度-評価空間）における、よりパラメータ効率の良いディープラーニングモデルの開発。
• エンジニアリングされたベースライン特徴量の代わりに、Rawな音声特徴量（ログメルバンドエネルギー）を用いることで性能に損なわれないかの評価。
• 音声入力のシーケンス長が感情予測の回帰性能に与える影響の調査。
• 提案されたスタックドCNN-RNNアーキテクチャが、既存の最先端モデルと比較して、精度およびモデルの複雑さの観点でどのように差をつけるかの比較。
• ニューラルネットワークがRawな特徴量から一次および二次の統計的特徴を自律的に学習できることを示し、手作業で設計された特徴量への依存を減らすことの可能性の検証。

提案手法

• 1次元畳み込み層を1つ持ち、その後に感情の予測を独立して行う2つのGRUブランチを備えたスタックドアーキテクチャを採用。
• 平均二乗誤差（MSE）損失関数を用い、L1およびL2正則化、ドロップアウト（0.25〜0.75）を適用して正則化を実施。
• 2種類の入力特徴量セットを用いる：MediaEval2015で用いられたベースライン特徴量と、Rawなログメルバンドエネルギー特徴量。これにより、特徴量設計の必要性に関するアブレーションが可能。
• 複数のシーケンス長（10秒、20秒、30秒、60秒）を用いて評価し、各シーケンス長ごとの性能を分析。
• 両感情次元を1つのRNNブランチに統合した変種（CRNN_NB）を用い、2ブランチ構造との性能比較を実施。
• ハイパーパrameterは5回のランダムな重み初期化を経て調整され、開発セットにおける平均RMSEが最小となる最良の設定が選択された。

実験結果

リサーチクエスチョン

• RQ1 軽量なスタックドCNN-RNNモデルは、既存手法と比較して顕著に少ないパラメータ数で、音楽感情認識において最先端の性能を達成できるか？
• RQ2 エンジニアリングされたベースライン特徴量の代わりに、Rawなログメルバンドエネルギー特徴量を用いることで性能が低下するか、それともネットワークが必要な表現を自律的に学習できるか？
• RQ3 音声入力のシーケンス長が、高揚度および評価の予測における回帰精度にどのように影響するか？
• RQ4 この回帰タスクにおいて、2ブランチ構造（高揚度および評価のための別々のRNN）は、共通ブランチ（CRNN_NB）よりも効果的か？
• RQ5 最小限のハイパーパrameterチューニングで十分な性能を示す単純で小さなネットワークは、LiらのDBLSTMベースの複雑なアンサンブルシステムを上回ることができるか？

主な発見

• 提案されたCRNNは、MediaEval2015の評価セットにおいて、高揚度予測でRMSE 0.202、評価予測でRMSE 0.268を達成し、本データセットで報告された最高の結果であった。
• Rawなログメルバンドエネルギー特徴量を用いた場合、わずか10,000パラメータで平均RMSE 0.258を達成。Liらのシステムと比較して1200分の1のパラメータ数でありながら、同等の性能を達成した。
• 短いシーケンス長（10秒および20秒）が長いシーケンス（60秒）を上回り、最良のRMSE 0.235を達成。Liらのシステムより0.02低い値であった。
• 2ブランチ構造のCRNNアーキテクチャは、単一ブランチのCRNN_NBバージョンを上回った。CRNN_NBはLiらのシステムと同等のRMSEを達成したが、パラメータ数はわずか17,000であった。
• Raw特徴量で学習したモデルは、高いドロップアウト率（0.75）を用いても良好に一般化した。深層ネットワークが、エンジニアリングされた特徴量に依存せず、Rawなメルスペクトログラムから重要な音声統計を学習できることを示した。
• ベースライン特徴量を用いたCRNNは、評価セットで平均RMSE 0.242を達成。Liらのシステム（平均RMSE 0.255）を上回ったが、パラメータ数は約1/400にまで削減された。