[論文レビュー] Comparing affective responses to standardized pictures and videos: A study report

Marko Horvat, Davor Kukolja+1 more|arXiv (Cornell University)|May 27, 2015

Color perception and design参考文献 19被引用数 12

ひとこと要約

本研究では、10名の参加者を対象に、生理的信号と自己報告による感情反応を用いて、標準化された写真と動画の感情反応を比較した。動画のシーケンスが、静止画よりも強く、より正確な感情反応を引き起こすことが判明した。個々の差が感情の強度および極性に顕著に影響することが分かった。

ABSTRACT

Multimedia documents such as text, images, sounds or videos elicit emotional responses of different polarity and intensity in exposed human subjects. These stimuli are stored in affective multimedia databases. The problem of emotion processing is an important issue in Human-Computer Interaction and different interdisciplinary studies particularly those related to psychology and neuroscience. Accurate prediction of users' attention and emotion has many practical applications such as the development of affective computer interfaces, multifaceted search engines, video-on-demand, Internet communication and video games. To this regard we present results of a study with N=10 participants to investigate the capability of standardized affective multimedia databases in stimulation of emotion. Each participant was exposed to picture and video stimuli with previously determined semantics and emotion. During exposure participants' physiological signals were recorded and estimated for emotion in an off-line analysis. Participants reported their emotion states after each exposure session. The a posteriori and a priori emotion values were compared. The experiment showed, among other reported results, that carefully designed video sequences induce a stronger and more accurate emotional reaction than pictures. Individual participants' differences greatly influence the intensity and polarity of experienced emotion.

研究の動機と目的

• 標準化された写真と動画が一貫した感情反応を誘発する効果を比較して調査すること。
• マルチメディア刺激に対する感情反応の個人差を検討すること。
• 生理的信号と自己報告が感情反応を測定するうえで信頼性があるかを評価すること。
• 動画刺激が感情計算応用の向上に役立つ可能性を評価すること。
• 感情的マルチメディアデータベースにおける使用を想定した、実証的データを提供すること。

提案手法

• N=10名の参加者を対象に、被験者内設計の実験を実施し、標準化された写真および動画刺激にさらされた。
• 刺激に事前に決定された意味的および感情的コンテンツを付与することで、条件間の一貫性を確保した。
• 刺激露出中に生理的信号（例：GSR、ECG）を記録し、後処理で感情推定を実施した。
• 各露出セッションの後に、標準化された感情尺度を用いて自己報告による感情状態を収集した。
• 生理的データを事後分析し、感情の価値（valence）と覚醒度（arousal）を推定した。
• 事前報告された自己報告感情と、事後分析による生理的推定を比較し、整合性を評価した。

実験結果

リサーチクエスチョン

• RQ1 標準化された動画刺激は、標準化された写真よりも強い、より正確な感情反応を誘発するか？
• RQ2 個々の差は、マルチメディア刺激に対する感情反応の極性および強度にどのように影響するか？
• RQ3 生理的信号が感情的刺激への反応として、自己報告された感情状態とどの程度一致するか？
• RQ4 予測可能な感情反応を誘発する観点から、動画シーケンスは静止画よりも効果的であるか？
• RQ5 生理的データと自己報告データを組み合わせた場合、マルチメディア文脈における感情推定の信頼性はどの程度向上するか？

主な発見

• 注意深く設計された動画シーケンスは、静止画よりも顕著に強い感情反応を誘発した。
• 生理的データと自己報告の比較において、動画刺激はより正確な感情推定を可能にした。
• 参加者個々に、感情反応の強度および極性に顕著な差が見られた。
• 生理的信号は、特に覚醒度および価値の観点から、感情状態の信頼性の高い後処理推定を提供した。
• 自己報告感情は生理的推定と中程度の整合性を示したが、個人差が全体の整合性を低下させた。
• 生理的モニタリングと自己報告の組み合わせにより、自己報告のみに比べて感情反応測定の正確性が向上した。