[論文レビュー] A Multimodal Approach towards Emotion Recognition of Music using Audio and Lyrical Content

Aniruddha Bhattacharya, K. V. Kadambari|arXiv (Cornell University)|Oct 10, 2018

Music and Audio Processing参考文献 18被引用数 6

ひとこと要約

この論文では、音声（メルスペクトログ램）と歌詞（100次元の単語埋め込み）のモダリティを統合する深層畳み込みニューラルネットワーク、MoodNetを提案する。F1スコアを評価指標として用い、MIREX Multimodalデータセットでは76.34%、Million Song Datasetでは69.73%の性能を達成し、単一モダリティの入力よりもマルチモーダル統合が優れていることを示した。特に、歌詞情報が音声のみよりもより有益であることが明らかになった。

ABSTRACT

We propose MoodNet - A Deep Convolutional Neural Network based architecture to effectively predict the emotion associated with a piece of music given its audio and lyrical content.We evaluate different architectures consisting of varying number of two-dimensional convolutional and subsampling layers,followed by dense layers.We use Mel-Spectrograms to represent the audio content and word embeddings-specifically 100 dimensional word vectors, to represent the textual content represented by the lyrics.We feed input data from both modalities to our MoodNet architecture.The output from both the modalities are then fused as a fully connected layer and softmax classfier is used to predict the category of emotion.Using F1-score as our metric,our results show excellent performance of MoodNet over the two datasets we experimented on-The MIREX Multimodal dataset and the Million Song Dataset.Our experiments reflect the hypothesis that more complex models perform better with more training data.We also observe that lyrics outperform audio as a better expressed modality and conclude that combining and using features from multiple modalities for prediction tasks result in superior performance in comparison to using a single modality as input.

研究の動機と目的

• 音声と歌詞の両方を用いた深層学習モデルを開発し、音楽感情を効果的に認識すること。
• 音声と歌詞のマルチモーダル統合が単一モダリティアプローチよりも感情認識性能を向上させるかどうかを評価すること。
• 音声（メルスペクトログラム）と歌詞（単語埋め込み）のモダリティが感情予測に与える相対的寄与度を調査すること。
• より深いアーキテクチャとより多くの訓練データが、音楽感情認識の性能向上に寄与するという仮説を検証すること。

提案手法

• 音声入力はメルスペクトログラムとして表現され、階層的な音声特徴を抽出するため2次元畳み込みニューラルネットワークに供給される。
• 歌詞コンテンツは、意味的意味を捉えるために事前学習済みのベクトル表現を用いて100次元の単語埋め込みに変換される。
• 音声とテキスト入力を別々に処理する2つの2次元CNNブランチが構築され、畳み込み層とプーリング層を通じてモダリティ固有の特徴を学習する。
• 両モダリティの特徴マップが連結され、1つのベクトルに統合された後、全結合層とソフトマックス分類器を経て感情カテゴリの予測が行われる。
• モデルは交差エントロピー損失を用いて学習され、誤差逆伝播により最適化され、主評価指標としてF1スコアが用いられる。
• ネットワークの深さに応じた異なるアーキテクチャ（MoodNet-3、MoodNet-4、MoodNet-5）を評価し、ネットワークの深さが性能に与える影響を分析する。

実験結果

リサーチクエスチョン

• RQ1 音声と歌詞のモダリティを統合することで、単一モダリティを用いる場合と比較して、音楽感情認識性能が向上するか？
• RQ2 音楽の感情予測において、音声と歌詞のどちらのモダリティがより判別能の高い情報を提供するか？
• RQ3 ネットワークの深さ（畳み込み層の数）が、音楽感情認識タスクの性能に与える影響は何か？
• RQ4 訓練データの増加が、マルチモーダルな音楽感情認識の性能向上に寄与するか？

主な発見

• MoodNetはMIREX MultimodalデータセットでF1スコア76.34%を達成し、単一モダリティベースラインを上回った。
• Million Song DatasetではF1スコア69.73%を達成し、多様なデータに対して優れた一般化性能を示した。
• 歌詞情報のみでMSDで64.79%のF1スコアを達成し、音声のみでは58.34%であったため、歌詞が音声よりも優れた性能を示した。
• 両モダリティの統合により、MSDで最高の性能69.73%のF1スコアを達成し、マルチモーダル統合の有効性が確認された。
• 十分な訓練データを用いたより深いネットワークが優れた性能を示すという仮説は、アーキテクチャ間での性能向上により裏付けられた。
• 研究結果から、歌詞は音声よりも感情認識においてより表現力に富んでいることが確認された。これは、歌詞の意味的豊かさに起因すると考えられる。