[논문 리뷰] Designing and Evaluating an Adaptive Virtual Reality System using EEG Frequencies to Balance Internal and External Attention States

Francesco Chiossi, Changkun Ou외 3명|arXiv (Cornell University)|2023. 11. 17.

Neural and Behavioral Psychology Studies인용 수 7

한 줄 요약

이 연구는 작업 기억 N-백 작업 중에 보조 시각 자극의 복잡도를 동적으로 조절하기 위해 전두부 테타파형과 후두부 알파파형을 포함한 뇌전도(EEG) 신호를 사용하는 적응형 가상현실 시스템을 제시한다. 실시간 주의 상태 분류 기반으로 부위 시각 자극을 조절함으로써 시스템은 작업 정확도를 86.49%로 향상시키고 주관적 부담도를 감소시켰으며, VR 환경에서 내적 주의와 외적 주의 간 효과적인 균형을 이루었다.

ABSTRACT

Virtual reality finds various applications in productivity, entertainment, and training scenarios requiring working memory and attentional resources. Working memory relies on prioritizing relevant information and suppressing irrelevant information through internal attention, which is fundamental for successful task performance and training. Today, virtual reality systems do not account for the impact of working memory loads resulting in over or under-stimulation. In this work, we designed an adaptive system based on EEG correlates of external and internal attention to support working memory task performance. Here, participants engaged in a visual working memory N-Back task, and we adapted the visual complexity of distracting surrounding elements. Our study first demonstrated the feasibility of EEG frontal theta and parietal alpha frequency bands for dynamic visual complexity adjustments. Second, our adaptive system showed improved task performance and diminished perceived workload compared to a reverse adaptation. Our results show the effectiveness of the proposed adaptive system, allowing for the optimization of distracting elements in high-demanding conditions. Adaptive systems based on alpha and theta frequency bands allow for the regulation of attentional and executive resources to keep users engaged in a task without resulting in cognitive overload.

연구 동기 및 목표

• 생리적 신호를 활용해 주의 자원을 동적으로 조절함으로써 VR 환경에서의 인지적 과부하 문제를 해결하기 위해.
• 내적(테타) 및 외적(알파) 주의의 EEG 관련성을 실시간 적응에 활용할 수 있는지 조사하기 위해.
• 주의 상태에 기반해 미세하게 외부 자극 요소를 조정함으로써 작업 기억 과제의 성능을 최적화하기 위해.
• 이러한 적응형 시스템이 작업 정확도를 유지하거나 향상시키면서도 주관적 부담도를 감소시키는지 평가하기 위해.

제안 방법

• 참가자들은 동적 부위 자극이 존재하는 VR 환경에서 시각적 N-백 작업 기억 과제를 수행하였다.
• 내적 주의와 외적 주의의 지표로 전두부 테타파형(4–8 Hz)과 후두부 알파파형(8–12 Hz)의 EEG 신호를 기록하였다.
• 선형판별분석(LDA) 모델이 이 EEG 파형의 파wer 특징을 사용해 주의 상태를 분류하였다.
• 분류된 주의 상태에 기반해 적응형 시스템이 실시간으로 자극의 시각적 복잡도를 조절하였으며, 외적 주의 상태가 감지될 경우 복잡도를 감소시켰다.
• 대조군으로 역방향 적응 조건을 사용하였으며, 이 경우 외적 주의 상태에서 복잡도가 증가하였다.
• 성능는 작업 정확도와 NASA-TLX 척도를 사용한 주관적 부담도 측정을 통해 평가되었다.

실험 결과

연구 질문

• RQ1 VR N-백 과제에서 전두부 테타파형과 후두부 알파파형 EEG 파형이 내적 및 외적 주의 상태를 신뢰성 있게 분류할 수 있는가?
• RQ2 EEG 기반 주의 상태 분류에 기반해 실시간으로 시각 자극의 복잡도를 조절함으로써 작업 기억 과제 성능이 향상되는가?
• RQ3 작업 정확도 및 주관적 부담도 측면에서 적응형 시스템은 역방향 적응 조건과 비교해 어떻게 다를까?
• RQ4 저복잡도 기계학습 모델(LDA)이 VR 환경에서 실시간 주의 상태 탐지에 충분한 정확도를 달성할 수 있는가?
• RQ5 주요 과제를 방해하지 않으면서 외부 환경의 부위적 특징을 얼마나 효과적으로 조작하여 주의를 조절할 수 있는가?

주요 결과

• LDA 분류기는 전두부 테타파형과 후두부 알파파형의 EEG 특징을 사용해 내적 및 외적 주의 상태를 86.49%의 정확도로 구분하였다.
• 역방향 적응 조건과 비교해 적응형 시스템이 작업 기억 과제 성능을 유의미하게 향상시켜 내적 주의 지원의 효과를 입증하였다.
• 참가자들은 적응형 조건에서 더 낮은 주관적 부담도를 보고하여 인지적 부담 감소를 시사하였다.
• 시스템은 실시간 EEG 피드백에 기반해 시각적 복잡도를 성공적으로 조절하여 동적 환경 적응의 가능성을 입증하였다.
• 결과는 EEG 기반 적응을 통해 내적 및 외적 주의를 균형 잡음으로써 VR 환경에서 과제 몰입도와 성능이 향상됨을 확인하였다.
• 이 연구는 실시간 생리적 컴퓨팅을 위한 간단하고 계산 효율성이 높은 모델(LDA)의 활용 가능성을 검증하였다.