[論文レビュー] Multimodal Emotion Recognition Using Multimodal Deep Learning

Wei Liu, Wei‐Long Zheng+1 more|arXiv (Cornell University)|Feb 26, 2016

Emotion and Mood Recognition参考文献 11被引用数 50

ひとこと要約

本稿では、深層自己符号化器（DAE）および二モダリティ深層自己符号化器（BDAE）を用いたマルチモーダル深層学習フレームワークを提案し、脳波（EEG）および目動画データからの感情認識を向上させることを目的としている。SEEDデータセットでは91.01%の最先端性能を達成し、クロスモダリティ学習では66.34%の性能を示しており、モダリティ間で共有される表現が感情モデリング性能を顕著に向上させることを示している。

ABSTRACT

To enhance the performance of affective models and reduce the cost of acquiring physiological signals for real-world applications, we adopt multimodal deep learning approach to construct affective models from multiple physiological signals. For unimodal enhancement task, we indicate that the best recognition accuracy of 82.11% on SEED dataset is achieved with shared representations generated by Deep AutoEncoder (DAE) model. For multimodal facilitation tasks, we demonstrate that the Bimodal Deep AutoEncoder (BDAE) achieves the mean accuracies of 91.01% and 83.25% on SEED and DEAP datasets, respectively, which are much superior to the state-of-the-art approaches. For cross-modal learning task, our experimental results demonstrate that the mean accuracy of 66.34% is achieved on SEED dataset through shared representations generated by EEG-based DAE as training samples and shared representations generated by eye-based DAE as testing sample, and vice versa.

研究の動機と目的

• 深層学習を用いて複数の生理的信号を統合することで、感情モデリング性能を向上させること。
• マルチモーダル事前学習から得られる共有表現を活用することで、高価なEEGデータに依存するのを減らし、単モダリティの強化を可能にすること。
• 脳波と目動画特徴間のクロスモダリティ転移学習を検討すること。
• 共有表現がモダリティ間で共通する感情パターンを効果的に捉えられることを検証すること。
• 実世界のヒューマンマシンインターフェース（HMI）アプリケーションに耐久的かつスケーラブルなフレームワークを提供すること。

提案手法

• 単一モダリティの生理的信号（EEGまたは目動画）から共有表現を学ぶために、単モダリティ深層自己符号化器（DAE）を採用した。
• ペアドEEGおよび目動画データから共有表現を共同で学ぶために、二モダリティ深層自己符号化器（BDAE）を提案した。
• 下流の感情分類のための高レベル特徴として、共有表現を用い、生の特徴や手作業で作成された特徴に置き換えた。
• 早期融合や後期融合のような複雑な統合戦略を避けるために、特徴レベルの統合を共有表現を通じて実現した。
• 2つの公開データセット（SEED（EEGベース）およびDEAP（マルチモーダル生理的信号））を用いてモデルを訓練した。
• 信頼性とクラスごとの識別性能を評価するために、正確性、標準偏差、混同行列を用いて性能を評価した。

実験結果

リサーチクエスチョン

• RQ1 単一モダリティからのDAEによって学習された共有表現を用いることで、生の特徴を直接使用する場合と比較して、感情認識の正確性が向上するか？
• RQ2 EEGと目動画データを用いたBDAEによる共同学習は、単モダリティまたは従来の統合手法よりも高い分類正確性を達成するか？
• RQ3 一つのモダリティ（例：EEG）から得た共有表現を、別のモダリティ（例：目動画）の感情認識に効果的に応用できるか？
• RQ4 クロスモダリティ学習におけるモデルの性能は何か？また、ランダムベースラインを上回っているか？
• RQ5 混同行列は特定の感情クラスの識別が困難であることをどのように示しているか？神経パターンに関する示唆は何か？

主な発見

• 単モダリティDAEはSEEDデータセットで82.11%の正確性を達成し、生のEEG特徴を直接使用した場合（78.51%）を上回った。
• BDAEモデルはSEEDデータセットで平均91.01%の正確性、DEAPデータセットで83.25%の正確性を達成し、最先端のアプローチを上回った。
• クロスモダリティ学習において、EEGベースのDAE表現を用いて目動画データを分類した結果、平均66.34%の正確性を示し、33.33%のランダムベースラインを顕著に上回った。
• 混同行列の結果、否定的 emotions が最も識別が難しく、ポジティブな感情は最も高い認識率（マルチモーダル支援時で99.03%）を示した。
• 共有表現を用いることで、実験間の標準偏差が低下し、モデルの信頼性が向上した。
• 結果から、共有表現がEEGと目動画モダリティ間で共通する高レベルの感情的特徴を捉えられ、効果的なクロスモダリティ転送を可能にしていることが示唆された。