[論文レビュー] AMIGOS: A Dataset for Affect, Personality and Mood Research on Individuals and Groups

Juan Abdon Miranda-Correa, Mojtaba Khomami Abadi+2 more|arXiv (Cornell University)|Feb 2, 2017

Mental Health Research Topics被引用数 16

ひとこと要約

AMIGOS は、40名の参加者が個人およびグループの状況で短時間および長時間の感情的な動画にさらされた際のEEG、ECG、GSR、動画、および自己/外部による感情のアノテーションを収集した、公開可能なマルチモーダルデータセットです。感情、性格、気分に関する研究を可能にし、長時間の動画におけるGSRが性格および気分予測で最高のF1スコア（0.623）を示し、感情の評価・覚醒度分類においてもEEGが他のモダリティを上回りました。

ABSTRACT

We present AMIGOS-- A dataset for Multimodal research of affect, personality traits and mood on Individuals and GrOupS. Different to other databases, we elicited affect using both short and long videos in two social contexts, one with individual viewers and one with groups of viewers. The database allows the multimodal study of the affective responses, by means of neuro-physiological signals of individuals in relation to their personality and mood, and with respect to the social context and videos' duration. The data is collected in two experimental settings. In the first one, 40 participants watched 16 short emotional videos. In the second one, the participants watched 4 long videos, some of them alone and the rest in groups. The participants' signals, namely, Electroencephalogram (EEG), Electrocardiogram (ECG) and Galvanic Skin Response (GSR), were recorded using wearable sensors. Participants' frontal HD video and both RGB and depth full body videos were also recorded. Participants emotions have been annotated with both self-assessment of affective levels (valence, arousal, control, familiarity, liking and basic emotions) felt during the videos as well as external-assessment of levels of valence and arousal. We present a detailed correlation analysis of the different dimensions as well as baseline methods and results for single-trial classification of valence and arousal, personality traits, mood and social context. The database is made publicly available.

研究の動機と目的

• 個人およびグループの社会的状況の両方で感情、性格、気分を研究するマルチモーダルデータセットの不足に対処すること。
• 制御された感情的な刺激下で、同期された神経生理的信号（EEG、ECG、GSR）、動画、および感情的アノテーションを収集すること。
• 感情の評価・覚醒度、性格的特徴、気分、社会的状況の単一試行分類のための手法のベンチマークを可能にすること。
• 生態的妥当性の高い社会的状況における感情コンピューティングの発展を支援する、公開可能なリソースを提供すること。

提案手法

• 参加者は個人状況で短時間の感情的な動画にさらされ、個人およびグループの両状況で長時間の動画にさらされた。
• ウェアラブルセンサーを用いて、正確に同期された神経生理的信号（EEG、ECG、GSR）が記録された。
• マルチモーダル分析を支援するため、前方HD、RGB、深度のフルボディ動画が撮影された。
• 感情反応は自己評価（評価・覚醒度・制御感・なじみ・好み・基本的感情）および3名のレーティング担当者による外部アノテーションで行われた。
• 性格はビッグファイブモデルで、気分はPANAS尺度で評価された。
• 感情の評価・覚醒度、性格的特徴、気分、社会的状況の分類のため、単一モダリティおよび特徴レベルの統合手法が適用された。

実験結果

リサーチクエスチョン

• RQ1 個人視聴とグループ視聴という異なる状況が、参加者の感情的反応（評価・覚醒度）にどのように異なる影響を及えるか？
• RQ2 マルチモーダルな状況において、自己評価と外部アノテーションの感情評価の相関度はどの程度か？
• RQ3 性格的特徴および気分分類において、どの生理的モダリティ（EEG、ECG、GSR）が最も優れた性能を示すか？
• RQ4 マルチモーダル信号の特徴レベルの統合は、感情、性格、社会的状況分類のパフォーマンスを向上させるか？
• RQ5 動画の長さ（短時間 vs. 長時間）と社会的状況が、感情的および生理的反応にどのように相互作用するか？

主な発見

• 外部アノテーションによる評価と覚醒度は、自己評価と有意に相関しており、感情状態の代理指標としての信頼性が裏付けられた。
• グループ視聴は、個人視聴と比較して、より高い評価と、特に高覚醒度のクリップでは顕著に増幅された覚醒度反応を示した。
• 評価・覚醒度分類において、EEGがECGおよびGSRを上回り、最も優れたパフォーマンスを示した。
• 長時間の動画におけるGSRが、すべての性格的特徴および気分次元で最高の平均F1スコア（0.623）を達成した。
• 特徴レベルの統合は、PAおよびNA予測でのみパフォーマンスを向上させ、ほとんどの場合、最良の単一モダリティを上回ることはなかった。
• 短時間および長時間の動画を統合した「すべての動画」のシナリオはパフォーマンスを向上させず、動画タイプ間のドメインシフトまたは複雑性の問題が示唆された。