[論文レビュー] Exploiting Synchronized Lyrics And Vocal Features For Music Emotion Detection

Loreto Parisi, Simone Francia+2 more|arXiv (Cornell University)|Jan 15, 2019

Music and Audio Processing被引用数 6

ひとこと要約

本稿では、時間的に同期された歌詞とボーカル特徴を活用することで、音楽感情認識のための新規アプローチを提案する。Wave-U-Netを用いてボーカル分離を行い、テキストおよび音声の両方の深層学習モデルを比較した結果、音声ベースの感情分類精度がボーカルのみの入力で4パcentポイント向上した。一方、fastText埋め込みを用いたBilinear LSTMは、歌詞ベースの分類においてCNNを上回った。

ABSTRACT

One of the key points in music recommendation is authoring engaging playlists according to sentiment and emotions. While previous works were mostly based on audio for music discovery and playlists generation, we take advantage of our synchronized lyrics dataset to combine text representations and music features in a novel way; we therefore introduce the Synchronized Lyrics Emotion Dataset. Unlike other approaches that randomly exploited the audio samples and the whole text, our data is split according to the temporal information provided by the synchronization between lyrics and audio. This work shows a comparison between text-based and audio-based deep learning classification models using different techniques from Natural Language Processing and Music Information Retrieval domains. From the experiments on audio we conclude that using vocals only, instead of the whole audio data improves the overall performances of the audio classifier. In the lyrics experiments we exploit the state-of-the-art word representations applied to the main Deep Learning architectures available in literature. In our benchmarks the results show how the Bilinear LSTM classifier with Attention based on fastText word embedding performs better than the CNN applied on audio.

研究の動機と目的

• 音楽感情認識の向上を図るため、歌詞とその対応する音声セグメントを時間的に同期させた新しいデータセットの開発。
• 音声またはテキストを単独で使用する場合よりも、歌詞とボーカル特徴を統合することで感情分類性能が向上するかの調査。
• 音声全体のミックスと比較して、ボーカルのみのトラックを使用する場合の感情分類性能への影響の評価。
• 歌詞ベースの感情分類における、さまざまな単語埋め込み技術と深層学習アーキテクチャの比較。
• 文脈を考慮した埋め込み（例：BERTやELMo）が、音楽感情認識の文脈で効果的かどうかの検討。

提案手法

• 歌詞セグメントとその対応する音声タイムスタンプを同期させ、感情ラベルを付与することで、Synchronized Lyrics Emotion Datasetを構築した。
• Wave-U-Netを用いて混合音声からボーカルトラックを分離し、分類に向けたボーカルのみの入力の隔離を実現した。
• 混合音声および分離済みボーカルトラックから得られるメルスペクトログ램を入力として、CNNを訓練して音声ベースの感情分類を実施した。
• 複数の単語埋め込み技術（fastText、ELMo、BERT）を、深層学習モデル（LSTM、BiLSTM、CNN）と組み合わせ、歌詞ベースの感情分類に用いた。
• 感情ラベルの分布におけるクラス不均衡を補うために、訓練中にサンプルウェイトを適用した。
• モデルの評価には、適合率、再現率、F1スコアを用い、混同行列を用いて各クラスの性能を分析した。

実験結果

リサーチクエスチョン

• RQ1 混合音声の代わりにボーカルのみのトラックを使用することで、音楽感情分類の性能が向上するか？
• RQ2 歌詞ベースの感情分類において、fastText、ELMo、BERTのうち、どの単語埋め込み技術が最も高い性能を示すか？
• RQ3 LSTM、CNN、Bilinear LSTMといった異なる深層学習アーキテクチャは、歌詞からの感情分類においてどのように比較されるか？
• RQ4 文脈を考慮した埋め込み（例：BERT）は、音楽の歌詞に対する感情認識タスクに効果的に適用できるか、それとも性能が劣るか？
• RQ5 歌詞と音声の同期は、感情認識モデルの時間的整合性と性能にどのように寄与するか？

主な発見

• CNNにボーカルのみの入力を使用した結果、全体のF1スコアが混合音声時の32％からボーカルのみ時の36％に上昇し、顕著な性能向上が確認された。
• fastText埋め込みを用いたBilinear LSTM分類器が、すべての歌詞ベースモデルの中で最高のF1スコアを記録し、CNNを上回った。
• 怒りと恐怖は、すべての感情クラスの中で最も誤分類されやすく、特に混合音声設定では適合率と再現率が低かった。
• BERTベースのモデルはfastTextやELMoに比べて性能が劣ったことから、この特定の音楽感情認識タスクでは文脈埋め込みがまだ最適ではない可能性がある。
• 混同行列の分析から、怒りと恐怖が最も誤分類されやすく、特に混合音声設定で適合率と再現率が低かった。
• データセットには顕著なクラス不均衡が見られ、怒りは43.9％、嫌悪は2.1％にとどまり、学習から除外された。