[論文レビュー] Fusion of EEG and Musical Features in Continuous Music-emotion Recognition

Nattapong Thammasan, Ken–ichi Fukui+1 more|arXiv (Cornell University)|Nov 30, 2016

Emotion and Mood Recognition参考文献 17被引用数 3

ひとこと要約

本研究では、アーザル・ボリューム次元を用いた連続的音楽感情認識のため、EEGと音楽特徴量の後段融合を提案する。スライディングウインドウベースの意思決定レベル融合を採用し、音楽特徴量がEEG単体よりも優れた性能を示すことが判明した。特に被験者独立設定において顕著であり、EEGの被験者間ばらつきを考慮しても、補完的情報を活用することで融合によりわずかに性能が向上した。

ABSTRACT

Emotion estimation in music listening is confronting challenges to capture the emotion variation of listeners. Recent years have witnessed attempts to exploit multimodality fusing information from musical contents and physiological signals captured from listeners to improve the performance of emotion recognition. In this paper, we present a study of fusion of signals of electroencephalogram (EEG), a tool to capture brainwaves at a high-temporal resolution, and musical features at decision level in recognizing the time-varying binary classes of arousal and valence. Our empirical results showed that the fusion could outperform the performance of emotion recognition using only EEG modality that was suffered from inter-subject variability, and this suggested the promise of multimodal fusion in improving the accuracy of music-emotion recognition.

研究の動機と目的

• EEGと音楽特徴量を統合することで、連続的音楽感情認識が向上するかを調査すること。
• 意思決定レベルの融合が被験者依存および被験者独立な感情分類に与える影響を評価すること。
• 各モodalitiyの寄与度およびスライディングウインドウサイズが分類性能に与える影響を分析すること。
• EEGの被験者間ばらつきや、音楽聴取中の時間的に変化する感情動態といった課題に対処すること。

提案手法

• 12名の男性被験者から、感情調節に関連する前頭領域に注目した10-20システムを用いて12電極でEEG信号を記録した。
• 音楽特徴量は、歌詞の影響を排除するためMIDIファイルから抽出した。
• EEG信号には0.5–60 Hzのバンドパスフィルタを適用し、EEGLABを用いたICAにより目動悸アーチファクトを除去した。
• 時間的に変化する感情は、連続的二値分類を用いたアーザル・ボリューム次元でモデル化した。
• EEGと音楽の特徴量を重み付き平均を用いて意思決定レベルで融合し、重み係数（α）を体系的に変化させた。
• 分類性能は、異なるスライディングウインドウサイズ（1–9 s）を用いた10分割のストラティファイド交差検証で評価した。

実験結果

リサーチクエスチョン

• RQ1 EEGと音楽特徴量の意思決定レベル融合は、単一モodalitiyアプローチと比較して、連続的音楽感情認識を改善できるか？
• RQ2 EEGにおける被験者間ばらつきは、感情分類モデルの性能にどのように影響するか？
• RQ3 音楽聴取における時間的に変化する感情反応を捉える最適なスライディングウインドウサイズは何か？
• RQ4 融合におけるEEGと音楽特徴量の寄与度はどのように変化し、性能を最適化する重み付けは何か？
• RQ5 EEGの導入により被験者独立な感情認識が向上するか、それとも音楽単体のアプローチがより頑健か？

主な発見

• 被験者独立分類タスクの全ケースにおいて、音楽モダリティがEEGよりも顕著に高い正答率とMCCを達成した。
• EEGモダリティは、被験者独立設定において特に顕著に最も低い性能を示した。これは、高い被験者間ばらつきが要因であった。
• 意思決定レベルの融合により、単一モダリティの音楽特徴量よりもわずかに性能が向上した。特に音楽の寄与度が高い場合（α < 0.5）に最良の結果が得られた。
• 被験者依存分類では最適なスライディングウインドウサイズは2 s、被験者独立分類では9 sであったが、サイズにかかわらず性能は安定していた。
• EEG特徴量の重み（α）が高くなるほど、性能が低下した。特に被験者独立なアーザル分類において顕著であった。
• 被験者依存の結果では、α値が高い場合に分散が大きくなり、一部の被験者においてEEGがアーザル認識により情報的である可能性を示唆した。