[논문 리뷰] Assessment of Empathy in an Affective VR Environment using EEG Signals

Maryam Alimardani, Annabella Hermans외 1명|arXiv (Cornell University)|2020. 03. 24.

EEG and Brain-Computer Interfaces참고 문헌 42인용 수 8

한 줄 요약

이 연구는 가정 폭력의 정서적 가상현실(VR) 환경에 노출된 사용자의 공감 능력을 평가하기 위한 실시간, 뇌파 기반 방법을 제안한다. 전두부 및 중심부 뇌파 비대칭성(알파, 테타, 델타)을 사용하여 기초 전두부 알파 비대칭성이 자가 보고한 공감 점수와 유의미하게 상관됨을 입증함으로써, 사회지능형 시스템에서 수동적이고 지속적인 정서 상태 모니터링에 뇌파의 잠재력을 시사한다.

ABSTRACT

With the advancements in social robotics and virtual avatars, it becomes increasingly important that these agents adapt their behavior to the mood, feelings and personality of their users. One such aspect of the user is empathy. Whereas many studies measure empathy through offline measures that are collected after empathic stimulation (e.g. post-hoc questionnaires), the current study aimed to measure empathy online, using brain activity collected during the experience. Participants watched an affective 360 video of a child experiencing domestic violence in a virtual reality headset while their EEG signals were recorded. Results showed a significant attenuation of alpha, theta and delta asymmetry in the frontal and central areas of the brain. Moreover, a significant relationship between participants' empathy scores and their frontal alpha asymmetry at baseline was found. These results demonstrate specific brain activity alterations when participants are exposed to an affective virtual reality environment, with the level of empathy as a personality trait being visible in brain activity during a baseline measurement. These findings suggest the potential of EEG measurements for development of passive brain-computer interfaces that assess the user's affective responses in real-time and consequently adapt the behavior of socially intelligent agents for a personalized interaction.

연구 동기 및 목표

• 침습적이지 않은 방식으로, 몰입형 VR 경험 중 뇌파를 이용해 공감 능력을 실시간으로 평가하는 방법을 개발하는 것.
• 특히 뇌파 비대칭성과 같은 뇌 활동 패tern이 정서적 VR 노출 중 개인 간 공감 차이와 관련이 있는지 조사하는 것.
• 인간-기술 상호작용에서 지속적이고 실시간 정서 상태 모니터링을 위한 뇌파의 가능성을 탐색하는 것.
• 사회지능형 에이전트(예: 가상 아바타 또는 사회적 로봇 등)와의 상호작용을 개인화하기 위한 뇌파 기반 지표의 잠재력을 평가하는 것.

제안 방법

• 참가자들은 뇌파 신호를 기록하면서 가정 폭력의 정서적 360도 VR 영상을 시청하였다.
• 전두부 및 중심부 뇌 영역에서 알파, 테타, 델타 주파수 대역의 비대칭성에 대해 뇌파 데이터를 분석하였다.
• VR 노출 이전에 기초 뇌파 활동을 기록하여 특성 수준의 공감 관련 뇌파 패턴을 평가하였다.
• 공감 점수는 노출 후 설문지를 통해 수집되었으며, 이는 VR 이전의 EEG 비대칭성 측정치와 상관 분석되었다.
• 통계 분석을 통해 전두부 영역에 중점을 두어 EEG 비대칭성과 공감 점수 간의 관계를 테스트하였다.
• 통제된 VR 자극과 표준화된 EEG 측정 프rotocol을 사용한 내부 설계를 채택하였다.

실험 결과

연구 질문

• RQ1 정서적 VR 환경에 노출되었을 때 전두부 및 중심부 뇌 영역의 EEG 비대칭성에 유의미한 변화가 발생하는가?
• RQ2 참가자의 기초 전두부 알파 비대칭성과 자가 보고한 공감 점수 사이에 유의미한 상관관계가 존재하는가?
• RQ3 기초 기간 동안의 EEG 비대칭성 패턴이 정서적 VR 경험 중 개인 간 공감 수준의 차이를 예측할 수 있는가?
• RQ4 알파, 테타, 델타 대역의 EEG 신호가 VR 내 공감 자극에 대한 실시간 정서 처리를 어느 정도 반영하는가?

주요 결과

• 정서적 VR 자극에 노출된 동안 전두부 및 중심부 알파, 테타, 델타 비대칭성이 유의미하게 감소함을 관찰함.
• 기초 전두부 알파 비대칭성과 참가자의 자가 보고한 공감 점수 사이에 유의미한 양의 상관관계가 발견됨.
• 기초 기간 동안의 EEG 비대칭성 패턴이 개인의 공감 수준을 예측할 수 있었으며, 이는 특성 수준의 신경적 지표를 시사함.
• 결과는 몰입형 VR 경험 중 실시간으로 공감의 신경생리학적 지표를 EEG로 감지할 수 있음을 시사함.
• 본 연구는 인간-컴퓨터 상호작용에서 수동적이고 지속적인 정서 반응 모니터링을 위한 EEG의 실현 가능성을 입증함.