[논문 리뷰] A feasibility study on SSVEP-based interaction with motivating and immersive virtual and augmented reality

Josef Faller, Brendan Z. Allison외 5명|arXiv (Cornell University)|2017. 01. 15.

Virtual Reality Applications and Impacts참고 문헌 6인용 수 37

한 줄 요약

이 타당성 연구는 헤드셋 디스플레이를 사용하여 몰입형 가상현실(VR) 및 증강현실(AR) 환경에서 안정상태 시각자극반응(SSVEP)-기반 뇌컴퓨터인터페이스(BCI)가 몰입형 VR 및 AR 환경에서 네비게이션 작업을 효과적으로 지원할 수 있음을 보여준다. 세 명의 참가자가 복잡한 네비게이션 작업을 수행하였으며, 두 명이 모든 조건에서 성공하였으며, 이는 실시간 헤드셋 상호작용을 포함한 통합된 VR 및 AR 환경에서 SSVEP-BCI가 처음으로 구현된 사례이다.

ABSTRACT

Non-invasive steady-state visual evoked potential (SSVEP) based brain-computer interface (BCI) systems offer high bandwidth compared to other BCI types and require only minimal calibration and training. Virtual reality (VR) has been already validated as effective, safe, affordable and motivating feedback modality for BCI experiments. Augmented reality (AR) enhances the physical world by superimposing informative, context sensitive, computer generated content. In the context of BCI, AR can be used as a friendlier and more intuitive real-world user interface, thereby facilitating a more seamless and goal directed interaction. This can improve practicality and usability of BCI systems and may help to compensate for their low bandwidth. In this feasibility study, three healthy participants had to finish a complex navigation task in immersive VR and AR conditions using an online SSVEP BCI. Two out of three subjects were successful in all conditions. To our knowledge, this is the first work to present an SSVEP BCI that operates using target stimuli integrated in immersive VR and AR (head-mounted display and camera). This research direction can benefit patients by introducing more intuitive and effective real-world interaction (e.g. smart home control). It may also be relevant for user groups that require or benefit from hands free operation (e.g. due to temporary situational disability).

연구 동기 및 목표

• 실생활 적용 가능한 작업을 위한 몰입형 VR 및 AR 환경에서 SSVEP 기반 BCI의 타당성을 평가하기 위해.
• 자극적이고 몰입감 있는 피드백 모달리티가 BCI 상호작용에서 사용자 참여도와 성능을 향상시키는지 평가하기 위해.
• AR 및 VR과 SSVEP-BCI를 통합하여 실생활 시나리오에서 손을 쓰지 않고 제어할 수 있는 실용성을 탐색하기 위해.
• 복잡하고 동적인 VR/AR 환경에서도 SSVEP-BCI의 최소한의 훈련 및 校정 요구 사항이 유지되는지 확인하기 위해.
• AR 및 VR이 BCI 시스템을 위한 직관적이고 맥락 민감한 인터페이스로 잠재력을 지니고 있는지 조사하기 위해.

제안 방법

• 참가자들은 헤드셋 디스플레이를 통해 표시된 VR 및 AR 환경에 통합된 목표 자극을 포함하는 온라인 SSVEP 기반 BCI 시스템을 사용하였다.
• 특정 주파수(예: 8 Hz, 10 Hz)로 조절된 자극이 안정상태 시각자극반응(SSVEP)을 유도할 수 있도록 하였다.
• EEG 신호는 실시간으로 기록되었으며, 주파수 도메인 분석을 통해 사용자 의도를 식별하였다.
• 지속적인 주의와 VR 및 AR 조건에서의 다중 선택이 요구되는 복잡한 네비게이션 작업이 설계되었다.
• 시스템은 최소한의 校정으로 실시간으로 작동하였으며, 사전 정의된 자극 주파수와 표준 SSVEP 분류 알고리즘에 의존하였다.
• 참가자들은 3차원 가상 및 증강 환경에 통합된 자극과 상호작용하여 스마트 홈 제어와 같은 실생활 응용을 시뮬레이션하였다.

실험 결과

연구 질문

• RQ1 SSVEP 기반 BCI는 몰입형 VR 및 AR 환경에서 네비게이션 작업에 효과적으로 사용될 수 있는가?
• RQ2 SSVEP-BCI가 VR 및 AR와 통합될 경우 사용자 성능과 작업 완료에 어떤 영향을 미치는가?
• RQ3 자극적이고 몰입감 있는 피드백 모달리티는 BCI 시스템에서 사용자 참여도와 사용성에 얼마나 기여하는가?
• RQ4 복잡하고 동적인 VR/AR 설정에서도 SSVEP-BCI는 최소한의 校정으로 높은 성능을 유지할 수 있는가?
• RQ5 전통적인 2D 디스플레이에 비해 AR는 실생활 BCI 응용에 있어 실현 가능하고 더 직관적인 인터페이스인가?

주요 결과

• 건강한 참가자 3명 중 2명이 SSVEP-BCI 시스템을 사용해 VR 및 AR 조건에서 모두 네비게이션 작업을 성공적으로 완료하였다.
• 시스템은 최소한의 校정으로 실시간 작동을 보였으며, SSVEP-BCI의 높은 대역폭 특성을 유지하였다.
• 몰입형 VR 및 AR 환경는 자극적이고 몰입감 있게 느껴져, 이러한 모달리티가 BCI 훈련 및 응용에 타당성을 뒷받침하였다.
• 목표 자극을 3차원 가상 및 증강 환경에 통합함으로써 수동 입력 없이 자연스럽고 목표 지향적인 상호작용이 가능해졌다.
• 이 연구는 SSVEP-BCI가 헤드셋을 착용한 몰입형 환경에서도 효과적으로 작동할 수 있음을 확인하였으며, 실생활 적용을 향한 중요한 단계이다.
• 이 연구는 헤드셋 디스플레이를 통해 VR 및 AR 모두에 자극을 통합한 SSVEP-BCI의 첫 번째 보고된 구현 사례이다.