[論文レビュー] Utilizing Deep Learning Towards Multi-modal Bio-sensing and Vision-based Affective Computing

Siddharth Siddharth, Tzyy‐Ping Jung+1 more|arXiv (Cornell University)|May 16, 2019

Emotion and Mood Recognition参考文献 62被引用数 13

ひとこと要約

本論文は、感情認識のためのマルチモーダルバイオセンシング（EEG、ECG、GSR、PPG）およびビデオデータから特徴を抽出するために事前学習済み畳み込みニューラルネットワークを活用するディープラーニングフレームワークを提案する。DEAPおよびMAHNOB-HCIデータセットで最先端の性能を達成し、感情の評価・覚醒・好み分類において先行研究を上回り、感情状態に関連する顕著な脳領域を局在化するための新規な畳み込み・デコンボリューションネットワークを導入している。

ABSTRACT

In recent years, the use of bio-sensing signals such as electroencephalogram (EEG), electrocardiogram (ECG), etc. have garnered interest towards applications in affective computing. The parallel trend of deep-learning has led to a huge leap in performance towards solving various vision-based research problems such as object detection. Yet, these advances in deep-learning have not adequately translated into bio-sensing research. This work applies novel deep-learning-based methods to various bio-sensing and video data of four publicly available multi-modal emotion datasets. For each dataset, we first individually evaluate the emotion-classification performance obtained by each modality. We then evaluate the performance obtained by fusing the features from these modalities. We show that our algorithms outperform the results reported by other studies for emotion/valence/arousal/liking classification on DEAP and MAHNOB-HCI datasets and set up benchmarks for the newer AMIGOS and DREAMER datasets. We also evaluate the performance of our algorithms by combining the datasets and by using transfer learning to show that the proposed method overcomes the inconsistencies between the datasets. Hence, we do a thorough analysis of multi-modal affective data from more than 120 subjects and 2,800 trials. Finally, utilizing a convolution-deconvolution network, we propose a new technique towards identifying salient brain regions corresponding to various affective states.

研究の動機と目的

• データの不足と異なるデータセット間での一貫性の欠如による、バイオセンシングベースの感情認識におけるディープラーニングの応用が限定的であるという問題に対処する。
• ディープラーニングを用いてEEG、ECG、GSR、PPG、ビデオなどの複数モダリティの特徴を統合することで、感情分類のパフォーマンスを向上させる。
• トランスファーラーニングとクロスデータセット学習を用いることで、データセット間の不一致を克服し、モデルの汎化能力を向上させる。
• EEGパワー周波数密度（PSD）画像を用いて感情状態に最も反応する脳領域を特定するための新規な畳み込み・デコンボリューションネットワークを開発する。
• 従来のディープラーニングフレームワークで未利用だったAMIGOSおよびDREAMERデータセットに、新たなベンチマークを確立する。

提案手法

• ビデオデータおよびEEG-PSD画像からの深層特徴抽出に、事前学習済みVGGネットワークを用い、トランスファーラーニングパイプラインの入力として扱った。
• モダリティ固有の特徴（EEG、ECG、GSR、PPG、ビデオ）をラテントフェージョン戦略を用いて統合し、分類精度を向上させた。
• 各試行内での特徴の時間的ダイナミクスをモデル化するために、長短期記憶（LSTM）ネットワークを採用し、単純な平均化手法よりも性能を向上させた。
• 2本のブランチを持つ畳み込み・デコンボリューションネットワークを設計：静的ブランチは個々のEEG-PSD画像におけるサリエンシー検出を、動的ブランチは連続する秒間の時間的変動を捉える。
• EEG電極位置（10-20配置）のEEG-PSDマップのRGBコンposite画像をサリエンシー・ネットワークの入力とし、ピクセル値を0〜1の範囲に正規化した。
• 各感情状態（例：高・低評価／覚醒）について、全試行にわたるサリエンシー出力を平均化し、特定の感情に最も反応する脳領域を示す脳マップを生成した。

実験結果

リサーチクエスチョン

• RQ1 マルチモーダルバイオセンシングおよびビデオデータからのディープラーニングベースの特徴抽出は、従来の手作業特徴抽出法を上回る感情状態分類性能を達成できるか？
• RQ2 EEG、ECG、GSR、PPG、ビデオモダリティ間の特徴統合は、評価・覚醒・好みの次元における分類精度をどの程度向上させるか？
• RQ3 トランスファーラーニングおよびクロスデータセット学習は、DEAP、AMIGOS、DREAMERなどの異なる感情認識データセット間の不一致をどの程度軽減できるか？
• RQ4 どの脳領域が特定の感情状態に最も反応するか？また、ディープラーニングベースのサリエンシー・ネットワークは、被験者および試行間で信頼性を持ってそれらを局在化できるか？
• RQ5 LSTMを用いて時間的ダイナミクスをモデル化することで、静的特徴集約と比較して分類性能が向上するか？

主な発見

• 提案手法はDEAPおよびMAHNOB-HCIデータセットで最先端のパフォーマンスを達成し、評価・覚醒・好み分類の分野で、以前に報告された結果を上回った。
• 複数モダリティ間の特徴統合は、単一モダリティモデルと比較して分類精度を顕著に向上させた。特にビデオおよびEEG特徴が性能向上に最も寄与した。
• LSTMを用いた時間的ダイナミクスのモデル化は、試行間の単純な特徴平均化よりも高い分類精度を達成した。
• データセット間のトランスファーラーニング（例：DEAPで学習し、AMIGOSやDREAMERでテスト）は、堅牢性と汎化能力を示し、データセット固有の不一致を克服した。
• 畳み込み・デコンボリューションサリエンシー・ネットワークは、主に前頭前野および頭頂部小胞（例：FC3、FCz、Cz、FC4）に活動が局在化されており、感情処理の神経解剖学的知見と整合的であった。
• 高覚醒と低覚醒状態の差分画像は、評価と比較してより広範なサリエンシー脳領域の分布を示し、覚醒処理におけるより広範な神経的関与を示唆した。