[论文解读] Comparing affective responses to standardized pictures and videos: A study report

Marko Horvat, Davor Kukolja+1 more|arXiv (Cornell University)|May 27, 2015

Color perception and design参考文献 19被引用 12

一句话总结

本研究通过10名参与者的生理信号与自评报告，比较了标准化图片与视频在情感反应上的差异。研究发现，精心设计的视频序列引发的情感反应比静态图像更强、更准确，且个体差异显著影响情感强度与极性。

ABSTRACT

Multimedia documents such as text, images, sounds or videos elicit emotional responses of different polarity and intensity in exposed human subjects. These stimuli are stored in affective multimedia databases. The problem of emotion processing is an important issue in Human-Computer Interaction and different interdisciplinary studies particularly those related to psychology and neuroscience. Accurate prediction of users' attention and emotion has many practical applications such as the development of affective computer interfaces, multifaceted search engines, video-on-demand, Internet communication and video games. To this regard we present results of a study with N=10 participants to investigate the capability of standardized affective multimedia databases in stimulation of emotion. Each participant was exposed to picture and video stimuli with previously determined semantics and emotion. During exposure participants' physiological signals were recorded and estimated for emotion in an off-line analysis. Participants reported their emotion states after each exposure session. The a posteriori and a priori emotion values were compared. The experiment showed, among other reported results, that carefully designed video sequences induce a stronger and more accurate emotional reaction than pictures. Individual participants' differences greatly influence the intensity and polarity of experienced emotion.

研究动机与目标

• 调查标准化图片与视频在引发一致情感反应方面的相对有效性。
• 考察个体在对多媒体刺激的情感反应性方面的差异。
• 评估生理信号与自评报告在测量情感反应时的可靠性。
• 评估视频刺激在提升情感计算应用方面的潜力。
• 为情感多媒体数据库提供多媒体刺激的实证数据。

提出的方法

• 对N=10名参与者开展被试内实验，暴露于标准化图片与视频刺激。
• 使用具有预先确定语义与情感内容的刺激，以确保各条件间的一致性。
• 在刺激呈现期间记录生理信号（如GSR、ECG），用于离线情绪估计。
• 在每次暴露会话后，使用标准化情感量表收集自评情绪状态。
• 对生理数据进行事后分析，以估计情绪效价与唤醒度。
• 将事前自评情绪与事后生理估计进行比较，以评估一致性。

实验结果

研究问题

• RQ1 标准化视频刺激是否引发比标准化图片更强、更准确的情感反应？
• RQ2 个体差异如何影响对多媒体刺激的情感反应极性与强度？
• RQ3 生理信号在响应情感刺激时与自评情绪状态的一致程度如何？
• RQ4 视频序列是否比静态图像更有效地引发可预测的情感反应？
• RQ5 结合生理信号与自评数据在多媒体情境下进行情绪估计的可靠性如何？

主要发现

• 精心设计的视频序列引发的情感反应显著强于静态图片。
• 在将生理数据与自评报告比较时，视频刺激导致更准确的情绪估计。
• 不同参与者在情感反应的强度与极性上表现出显著差异。
• 生理信号可提供可靠的情绪状态离线估计，尤其在唤醒度与效价方面。
• 自评情绪与生理估计结果中度一致，但个体差异降低了整体一致性。
• 结合生理监测与自评可提高情感反应测量的准确性，优于仅依赖自评。