[論文レビュー] Multi-modal Approach for Affective Computing

Siddharth Siddharth, Tzyy‐Ping Jung+1 more|arXiv (Cornell University)|Apr 25, 2018

Emotion and Mood Recognition参考文献 14被引用数 8

ひとこと要約

本論文は、EEG、ECG、GSR、および前面映像データの間で新たな生理的ベースライン補正法を導入することで、感情分類の正確性を向上させるマルチモーダルな感情計算フレームワークを提案する。特にEEGと映像の特徴を組み合わせ、極端な学習機械（ELM）および深層特徴（例：VGGベース）を用いて融合することで、4クラスの感情分類において52.51%の正確性を達成し、最先端の性能を示した。ベースライン補正後、感情の評価、覚醒、好み、優位性予測において一貫した向上が確認された。

ABSTRACT

Throughout the past decade, many studies have classified human emotions using only a single sensing modality such as face video, electroencephalogram (EEG), electrocardiogram (ECG), galvanic skin response (GSR), etc. The results of these studies are constrained by the limitations of these modalities such as the absence of physiological biomarkers in the face-video analysis, poor spatial resolution in EEG, poor temporal resolution of the GSR etc. Scant research has been conducted to compare the merits of these modalities and understand how to best use them individually and jointly. Using multi-modal AMIGOS dataset, this study compares the performance of human emotion classification using multiple computational approaches applied to face videos and various bio-sensing modalities. Using a novel method for compensating physiological baseline we show an increase in the classification accuracy of various approaches that we use. Finally, we present a multi-modal emotion-classification approach in the domain of affective computing research.

研究の動機と目的

• 単一モーダルな感情計算の限界を是正するため、EEG、ECG、GSR、映像といった複数の生理的および視覚的モーダルを統合し、感情分類の精度を向上させること。
• 実験開始時の個々の感情状態を補正するための新規な生理的ベースライン補正法を開発・検証し、モデルの頑健性を向上させること。
• 特に深層学習ベースの特徴を含む、さまざまな特徴抽出手法の性能を、感情分類の文脈で比較・評価すること。
• マルチモーダル統合、特にEEG＋前面映像の組み合わせが、個々のモーダルよりも優れた分類正確性を示すことを実証すること。
• 視覚と生体信号を統合する包括的かつクロスモーダルなフレームワークを構築し、孤立したモーダル研究の限界を克服すること。

提案手法

• 本研究では、640件の映像試行を実施した40名の被験者から得られた同期録画データ（EEG：14チャンネル、128 Hz、ECG：2チャンネル、128 Hz、GSR：1チャンネル、128 Hz、前面映像：25 fps）を含むAMIGOSデータセットを用いる。
• 各モーダルに対して、異なる特徴抽出手法を適用する：EEGには条件付きエントロピーとパワースペクトル密度、ECGおよびGSRには時間領域および周波数領域特徴、前面映像にはCNN-VGGベースの特徴を用いる。
• 被験者が試行前に自己報告した評価と覚醒度をモデル化することで、個々の感情ベースラインを補正する新規なベースライン補正法を導入する。
• 分類にはシグモイド活性化関数を用いた極端な学習機械（ELM）を採用し、10-fold交差検証を実施。評価・覚醒・好み・優位性（高/低）のバイナリ分類に加え、ラッセルの円型モデルに従う4クラスおよび8クラスの感情分類も実施する。
• 複数モーダル統合は、異なるモーダルから得られた最も情報量の多い特徴（例：EEG＋映像、GSR＋ECG）を連結し、統合された特徴空間上で再びELM分類器を訓練することで実現する。
• 分類正確性を、複数の応答タイプおよび感情クラス設定において評価し、ベースライン補正あり・なしの両状態で結果を報告する。

実験結果

リサーチクエスチョン

• RQ1 個々の感情状態のベースライン補正は、複数のセンシングモーダルにおいて感情計算モデルの正確性をどの程度向上させるか？
• RQ2 特に深層学習ベースの特徴を含む、特徴抽出手法のどの組み合わせがマルチモーダルな感情分類において最高のパフォーマンスを発揮するか？
• RQ3 EEG＋映像やGSR＋ECGといった複数モーダルの統合は、評価・覚醒・好み・優位性の分類正確性において、個々のモーダルと比較してどの程度優れているか？
• RQ4 生理的信号（EEG、ECG、GSR）と映像ベースの顔面分析は、4クラスおよび8クラスの感情分類において、どの程度の寄与を示すか？
• RQ5 ベースライン補正済みの生理的データを含めることで、その補正なしのモデルと比較して分類パフォーマンスが顕著に向上するか？

主な発見

• ベースライン補正は、すべてのモーダルで分類正確性を顕著に向上させ、特にEEGおよび映像ベースのアプローチで最大の向上が観察された。
• EEGと前面映像の特徴統合により、4クラスの感情分類で52.51%の正確性を達成し、個々のモーダルや既存の最先端手法を大きく上回った。
• EEG単体が生体信号モーダルの中で最も高い個別正確性を示し、特にベースライン補正後は映像ベースの性能と同等またはそれを上回った。
• EEGおよび映像データの両方でCNN-VGGベースの特徴を用いることで、特にベースライン補正後、分類性能が向上し、生理的変動を効果的に捉える有効性が示された。
• 好みと優位性の分類正確性が、評価と覚醒よりも高かったことから、これらの主観的レーティングにはより強い生理的相関があると考えられる。
• 8クラスの感情分類では、生体信号モーダルの性能がわずかに低下したが、これは評価と覚醒度の1〜9スケールが狭いため、細分化された分類が困難であることが原因と考えられる。