[論文レビュー] Emotion and Theme Recognition in Music with Frequency-Aware RF-Regularized CNNs

Khaled Koutini, Shreyan Chowdhury+3 more|arXiv (Cornell University)|Oct 28, 2019

Music and Audio Processing被引用数 7

ひとこと要約

本稿では、スペクトログ램入力を用いた音楽感情およびテーマ認識のための周波数に配慮した、受容 field 正則化付き残差畳み込みニューラルネットワーク（FA-ResNet）を提案する。RF 正則化と周波数に配慮した畳み込みを活用することで、性能が向上し、MediaEval 2019 チャレンジで最先端の結果を達成した。アンサンブルモデルはテストの PR-AUC 0.1546 を達成し、標準的な ResNet や CRNN などのベースラインを著しく上回った。

ABSTRACT

We present CP-JKU submission to MediaEval 2019; a Receptive Field-(RF)-regularized and Frequency-Aware CNN approach for tagging music with emotion/mood labels. We perform an investigation regarding the impact of the RF of the CNNs on their performance on this dataset. We observe that ResNets with smaller receptive fields -- originally adapted for acoustic scene classification -- also perform well in the emotion tagging task. We improve the performance of such architectures using techniques such as Frequency Awareness and Shake-Shake regularization, which were used in previous work on general acoustic recognition tasks.

研究の動機と目的

• CNN の受容 field サイズが音楽感情タグ付けの性能に与える影響を調査すること。
• アーキテクチャの正則化と周波数に配慮した畳み込みを用いて、低リソースでノイズの多い音楽感情データセットの性能を向上させること。
• 音声シーン分類から取り入れた技術——特に RF 正則化と周波数への配慮——を音楽感情認識に適応させること。
• より小さい受容 field を、周波数への配慮と正則化と組み合わせることで、音楽タグ付けタスクにおいて優れた性能を達成できることを示すこと。
• スペクトログラムベースのディープラーニングを用いて、MediaEval 2019 の感情およびテーマ認識タスクで最先端の結果を達成すること。

提案手法

• 受容 field (RF) 正則化を用いた変更された ResNet アーキテクチャを採用し、空間的範囲を制限することで、音声スペクトログラムに対する一般化性能を向上させる。
• 周波数に配慮した（FA）畳み込み層を導入し、周波数次元における受容 field の縮小を補償するための周波数表現学習を強化する。
• 訓練の安定性と耐障害性を向上させるために、Shake-Shake 正則化を適用し、特に受容 field が小さいモデルにおいて効果を発揮する。
• 確率的重み平均化（SWA）とスナップショット平均化を用いて、複数のモデル重みと予測を統合し、一般化性能と性能を向上させる。
• 異なるアーキテクチャ、初期化、受容 field を持つ複数のモデルの予測をアンサンブル平均化することで、精度を向上させる。
• 入力特徴は、44.1 kHz の音声から STFT を用いて得られる 256 ビンのメルスケールスペクトログラムであり、窓オーバーラップは 75% または 25% である。

実験結果

リサーチクエスチョン

• RQ1 CNN の受容 field を小さくすることで、音楽感情タグ付けタスクの性能が向上するか？
• RQ2 周波数に配慮した畳み込みは、音声分類において受容 field が小さくなった場合の性能低下を補うことができるか？
• RQ3 Shake-Shake や SWA などの正則化技術は、音楽感情認識におけるモデルの一般化にどのように影響するか？
• RQ4 RF 正則化付きで周波数に配慮した CNN は、標準的な ResNet や CRNN よりも MTG-Jamendo データセットで優れた性能を発揮できるか？
• RQ5 モデルアンサンブルとマルチモデル平均化は、このタスクにおける性能向上にどの程度寄与しているか？

主な発見

• 提案された RF 正則化付き FA-ResNet は、テストの PR-AUC 0.1546 を達成し、MediaEval 2019 チャレンジで上位 3 位以内の成績を収めた。
• より小さい受容 field が、より大きな受容 field よりも優れた性能を示し、先行する音声シーン分類研究の結果を裏付けた。
• 周波数に配慮した畳み込みは、周波数方向の受容 field が制限されたモデルにおいて、顕著な性能向上をもたらした。
• Shake-Shake 正則化は、元の音声シーン分類タスクでは成績が芳しくなかったものの、モデルの安定性と性能を向上させた。
• 異なる初期化とトレーニングスナップショットを持つ複数の FA-ResNet を組み合わせたアンサンブルモデルが、最高の性能を達成した。
• 単一の RF 正則化付き ResNet（CP_ResNet）でも、テストの PR-AUC 0.1325 を達成し、標準的な ResNet-34（0.1021）や CRNN（0.1172）を上回った。