[논문 리뷰] A New Terrain in HCI: Emotion Recognition Interface using Biometric Data for an Immersive VR Experience

Jae Hyun Nam, Hyesun Chung외 2명|arXiv (Cornell University)|2019. 12. 03.

Emotion and Mood Recognition참고 문헌 44인용 수 9

한 줄 요약

이 논문은 VR 헤드셋에 내장된 EEG 및 눈동자 추적 센서를 사용하여 몰입형 VR 환경에서 사용자의 시각 자극에 대한 매력도를 예측하는 원활한 정서 인식 인터페이스를 제안한다. 생체 신호 데이터를 기반으로 한 기계 학습을 활용하여 시스템은 실시간 정서 추론에서 높은 정확도를 달성하며, 개인화되고 정서적으로 반응하는 VR 경험을 가능하게 하며, 인공지능, 스토리텔링 및 사용자 경험 설계 분야에 큰 잠재력을 지닌다.

ABSTRACT

Emotion recognition technology is crucial in providing a personalized user experience. It is especially important in virtual reality(VR) to assess the user's emotions to enhance their sense of immersion. We propose an emotion recognition interface that incorporates the user's biometric data with machine learning technology for increasing user engagement in VR. Our key technologies include brainwave sensors and eye-tracking cameras embedded in a VR headset, which seamlessly acquire physiological signals, and secondly, an attractiveness recognition algorithm that uses bio-signals to predict the user's attraction on visual stimuli. We conducted experiments to test the performance of the system, and also interviewed experts and participants to acquire opinions on the system. This study demonstrated the technical feasibility of our system with high accuracy and usability. Interviewees expected that the interface will be actively used in the context of various applications. Our proposed interface could contribute to an immersive VR experience design.

연구 동기 및 목표

• 실시간 정서 인식을 위한 비침습적 생체 신호 측정 시스템을 VR 헤드셋 내부에 통합하여 원활하고 부각되지 않는 방식으로 개발하기.
• EEG와 눈동자 추적 데이터를 융합하여 사용자의 시각 자극에 대한 매력도를 예측할 수 있는지의 가능성을 탐구하기.
• 통제된 실험과 전문가/참가자 인터뷰를 통해 시스템의 정확도와 사용성 평가하기.
• 생체 신호 기반 정서 인식이 VR 응용 프로그램에서 사용자 참여도 향상과 개인화에 어떻게 기여할 수 있는지 탐색하기.
• 얼굴 표정이나 음성 신호 외의 직접적인 생리적 신호를 활용하여 향후 정서 인식 시스템의 기반 마련하기.

제안 방법

• 소비자용 VR 헤드셋에 건식 EEG 센서와 눈동자 추적 카메라를 통합하여 지속적이고 비침습적인 생체 신호 측정 수행하기.
• 동기화된 EEG 및 눈동자 추적 데이터를 기반으로 사용자 매력도 평가를 예측할 수 있도록 훈련된 기계 학습 모델 개발하기.
• VR 콘텐츠 노출 중 뇌 활동과 시선 패턴의 동적 변화를 모니터링하기 위해 시계열 분석 기법 활용하기.
• 단일 모odal 접근 방식을 뛰어넘어 정서 인식 정확도를 향상시키기 위해 다중 모달 데이터 융합 기법 적용하기.
• 시각 요소 중 사용자 매력도에 가장 크게 기여하는 요소를 식별하기 위해 요인 분석 수행하기.
• 참가자들이 VR 환경에서 코어트된 시각 자극을 시청하면서 생체 신호를 수집하는 통제된 실험 수행하기.

실험 결과

연구 질문

• RQ1 내장된 EEG 및 눈동자 추적 센서를 갖춘 VR 헤드셋이 실시간으로 사용자의 시각 자극에 대한 매력도를 정확하게 예측할 수 있는가?
• RQ2 EEG와 눈동자 추적 데이터를 융합함으로써 단일 모달리즘 접근 방식에 비해 매력도 예측 정확도가 얼마나 향상되는가?
• RQ3 VR 환경에서 사용자 매력도에 영향을 미치는 주요 시각적 요소와 생리적 요소는 무엇인가?
• RQ4 사용자와 전문가들은 생체 신호 기반 정서 인식 기술의 사용성, 개인정보 보호 및 잠재적 응용 분야에 대해 어떻게 평가하는가?
• RQ5 훈련 데이터 크기를 증가시킬수록 정서 인식 모델의 성능 향상 정도는 어느 정도인가?

주요 결과

• 제안된 시스템은 EEG와 눈동자 추적 데이터를 융합하여 시각 자극에 대한 사용자 매력도를 높은 정확도로 예측하는 데 성공했다.
• 다중 모달 데이터 융합(EEG + 눈동자 추적)은 단일 모달리즘 접근 방식보다 높은 정확도를 달성했지만, 통계적으로 유의미한 향상가지는 않았다.
• 시스템은 실시간으로 정서 반응을 지속적으로 모니터링할 수 있었으며, 이는 VR 콘텐츠의 동적 적응을 가능하게 했다.
• 요인 분석 결과, 색상, 형태, 운동 등 특정 시각적 요소가 사용자 매력도에 크게 기여하는 것으로 밝혀졌으며, 시선 패턴은 정서적 몰입도와 상관관계를 보였다.
• 참가자와 전문가들은 개인 맞춤형 콘텐츠 추천, 상호작용 기반 스토리텔링, AI 기반 정서적 상호작용 등 응용 분야에 강한 관심을 보였다.
• 높은 정확도에도 불구하고, 훈련 데이터 크기를 10배로 늘려도 모델 성능 향상이 유의미하게 이루어지지 않아 포화 상태 또는 데이터 품질 제한 요인의 가능성을 시사했다.