[논문 리뷰] Comparing affective responses to standardized pictures and videos: A study report

Marko Horvat, Davor Kukolja외 1명|arXiv (Cornell University)|2015. 05. 27.

Color perception and design참고 문헌 19인용 수 12

한 줄 요약

이 연구는 10명의 참가자로부터 생리적 신호와 자기 보고를 통해 표준화된 사진과 영상에 대한 정서 반응을 비교한다. 영상 시퀀스를 철저히 설계할 경우 정적인 이미지보다 더 강하고 정확도가 높은 정서 반응을 유도함을 발견하였으며, 개인의 차이가 정서 강도와 극성에 크게 영향을 미친다.

ABSTRACT

Multimedia documents such as text, images, sounds or videos elicit emotional responses of different polarity and intensity in exposed human subjects. These stimuli are stored in affective multimedia databases. The problem of emotion processing is an important issue in Human-Computer Interaction and different interdisciplinary studies particularly those related to psychology and neuroscience. Accurate prediction of users' attention and emotion has many practical applications such as the development of affective computer interfaces, multifaceted search engines, video-on-demand, Internet communication and video games. To this regard we present results of a study with N=10 participants to investigate the capability of standardized affective multimedia databases in stimulation of emotion. Each participant was exposed to picture and video stimuli with previously determined semantics and emotion. During exposure participants' physiological signals were recorded and estimated for emotion in an off-line analysis. Participants reported their emotion states after each exposure session. The a posteriori and a priori emotion values were compared. The experiment showed, among other reported results, that carefully designed video sequences induce a stronger and more accurate emotional reaction than pictures. Individual participants' differences greatly influence the intensity and polarity of experienced emotion.

연구 동기 및 목표

• 표준화된 사진과 영상이 일관된 정서 반응을 유도하는 데의 비교적 효과를 조사하기 위해.
• 다양한 미디어 자극에 대한 개인 간 정서 반응성의 변동성을 검토하기 위해.
• 정서적 반응을 측정하기 위해 생리적 신호와 자기 보고의 신뢰성을 평가하기 위해.
• 영상 자극이 정서 계산 응용 프로그램의 향상 가능성을 평가하기 위해.
• 정서 미디어 데이터베이스에 사용하기 위한 실증적 데이터 기여하기 위해.

제안 방법

• N=10명의 참가자로 이루어진 내부 설계 실험을 실시하여 표준화된 사진 및 영상 자극에 노출시켰다.
• 조건 간 일관성을 보장하기 위해 사전에 결정된 의미적 및 정서적 내용을 가진 자극을 사용하였다.
• 자극 노출 중 생리적 신호(예: GSR, ECG)를 기록하여 오프라인 정서 추정을 수행하였다.
• 각 노출 세션 후 표준화된 정서 척도를 사용하여 자기 보고된 정서 상태를 수집하였다.
• 생리적 데이터에 대한 사후 분석을 수행하여 정서의 평가 및 각성도를 추정하였다.
• 사전 자기 보고된 정서와 사후 생리적 추정치를 비교하여 일치도를 평가하였다.

실험 결과

연구 질문

• RQ1 표준화된 영상 자극이 표준화된 사진보다 더 강하고 정확도가 높은 정서 반응을 유도하는가?
• RQ2 개인의 차이가 다채널 자극에 대한 정서 반응의 극성과 강도에 어떻게 영향을 미치는가?
• RQ3 생리적 신호가 정서 자극에 대한 자기 보고된 정서 상태와 얼마나 일치하는가?
• RQ4 영상 시퀀스가 정적인 이미지보다 예측 가능한 정서 반응을 자극하는 데 더 효과적인가?
• RQ5 생리적 데이터와 자기 보고 데이터의 조합이 다채널 환경에서 정서 추정에 있어 얼마나 신뢰할 수 있는가?

주요 결과

• 철저히 설계된 영상 시퀀스는 정적인 이미지보다 유의미하게 더 강한 정서 반응을 유도하였다.
• 생리적 데이터와 자기 보고를 비교할 때 영상 자극은 더 정확한 정서 추정을 가능하게 하였다.
• 참가자 개인 간 정서 반응의 강도와 극성에 있어 상당한 변동성이 나타났다.
• 생리적 신호는 특히 각성도와 평가에 대해 신뢰할 수 있는 오프라인 정서 상태 추정을 제공하였다.
• 자기 보고된 정서는 생리적 추정치와 중간 정도의 일치도를 보였지만, 개인의 차이로 인해 총괄적인 일관성이 떨어졌다.
• 생리적 모니터링과 자기 보고의 조합은 자기 보고만을 사용할 경우보다 정서 반응 측정의 정확도를 향상시켰다.