[論文レビュー] Music Mood Detection Based On Audio And Lyrics With Deep Neural Net

Rémi Delbouys, Romain Hennequin+3 more|arXiv (Cornell University)|Sep 19, 2018

Music and Audio Processing参考文献 21被引用数 31

ひとこと要約

本論文では、音声と歌詞の両方を用いた深層学習ベースのマルチモーダル手法を提案し、覚醒度予測において従来の特徴工学的手法を上回り、感情の価値度予測では同等の性能を示した。主な貢献は、音声と歌詞モダリティのミドルレベル融合が、ラテナル融合やユニモーダルモデルでは達成できない早期のクロスモダリティ相関を捉えることで、価値度検出を顕著に向上させることを示したことである。

ABSTRACT

1.1 Related work We consider the task of multimodal music mood prediction based on the audio signal and the lyrics of a track. We reproduce the implementation of traditional feature engineering based approaches and propose a new model based on deep learning. We compare the performance of both approaches on a database containing 18,000 tracks with associated valence and arousal values and show that our approach outperforms classical models on the arousal detection task, and that both approaches perform equally on the valence prediction task. We also compare the a posteriori fusion with fusion of modalities optimized simultaneously with each unimodal model, and observe a significant improvement of valence prediction. We release part of our database for comparison purposes.

研究の動機と目的

• 深層学習ベースのマルチモーダル音楽の気分検出を、従来の特徴工学的手法と比較すること。
• 音声と歌詞モダリティを統合する際の、早期（ミドルレベル）融合とラテナル融合の有効性を評価すること。
• 深層学習モデルが、連続的な価値度と覚醒度の次元を予測する際に、古典的手法を上回ることができるかどうかを調査すること。
• ベンチマーク用に、18,000曲のトラックとその価値度・覚醒度のアノテーションを含む大規模データセットを公開すること。
• 特に価値度と覚醒度の予測において、音声と歌詞が果たす補完的役割を検討すること。

提案手法

• 著者は、音声（メル周波数ケプストラム係数を用いて）と歌詞（単語埋め込みを用いて）のそれぞれについて、価値度と覚醒度を予測する独立した深層ニューラルネットワークを訓練した。
• 両方のユニモーダルネットワークからの高レベル特徴を連結することで、ミドルレベル融合戦略を実装した。
• 比較のため、別々のユニモーダルモデルの予測を平均化するラテナル融合も適用した。
• 時間的依存性を捉えるために、音声およびテキストの系列の両方で、全結合層および双方向LSTM層を用いた。
• 性能評価は、ミリオン・ソング・データセットおよびディーザーのカタログから抽出した18,000曲のカスタムデータセットを用いた回帰指標で行った。
• 著者らは、MFCC、SVM、GMMなどの従来の特徴を用いた古典的モデルと、自らのアプローチを比較した。

実験結果

リサーチクエスチョン

• RQ1 深層学習ベースのマルチモーダル手法は、音楽の気分検出において古典的手法を上回るのか？
• RQ2 音声と歌詞の特微をミドルレベルで融合することは、ラテナル融合やユニモーダル予測よりも、価値度と覚醒度推定においてより効果的なのか？
• RQ3 どのモダリティ—音声か歌詞か—が、覚醒度と価値度の予測においてより顕著に寄与しているのか？
• RQ4 エンドツーエンドの深層学習モデルは、専門家が設計した音声またはテキスト特徴を必要とせず、手作業で作成された特徴と同等またはそれ以上の性能を達成できるのか？
• RQ5 クロスモダリティ相関は、気分検出を向上させる役割を果たしており、それらはミドルレベル融合によって効果的に捉えることができるのか？

主な発見

• 深層学習ベースのモデルは、覚醒度検出において古典的手法を上回り、エンドツーエンド学習がより効果的な音声表現を捉えられることを示した。
• 価値度予測においては、深層学習と古典的手法の両方が同等の性能を示した。これは、適切にチューニングされた場合、両アプローチが有効であることを示している。
• ミドルレベル融合は、ラテナル融合に比べて価値度予測を顕著に改善した。これは、クロスモダリティ情報の早期統合が性能向上に寄与することを示している。
• 音声特徴は覚醒度予測において非常に予測力が高く、価値度検出には両モダリティが必要であることが示され、それらの補完的性質が浮き彫りになった。
• 歌詞ベースのモデル単体では覚醒度予測はうまくいかないが、ミドルレベル融合によって音声と組み合わせることで、価値度予測に有意義な貢献をした。
• 本研究は、深層学習モデルが音声と歌詞の間のミドルレベル相関を効果的に学習できることを示し、正確な価値度推定に不可欠な要因であることを明らかにした。