[논문 리뷰] A Multimodal Approach to Estimating Vigilance Using EEG and Forehead EOG

Wei‐Long Zheng, Bao‐Liang Lu|arXiv (Cornell University)|2016. 11. 25.

EEG and Brain-Computer Interfaces참고 문헌 51인용 수 5

한 줄 요약

이 논문은 이마의 네 개의 공유 전극에서 측정한 뇌전도(EEG) 및 이마 전기성안검도(EOG) 신호를 이용한 웨어러블 다모달 접근법을 제안한다. EEG와 EOG 특징을 융합하고 연속 조건부 랜덤 필드를 통해 시간적 동역학을 모델링함으로써, 단일 모odal 접근법보다 향상된 성능(상관계수 0.85, RMSE 0.09)을 달성하여 지속적인 주의력 모니터링을 위한 저비용 실생활 피아노 비디오 컨트롤 시스템(passive BCI)의 실현 가능성을 입증한다.

ABSTRACT

Objective. Covert aspects of ongoing user mental states provide key context information for user-aware human computer interactions. In this paper, we focus on the problem of estimating the vigilance of users using EEG and EOG signals. Approach. To improve the feasibility and wearability of vigilance estimation devices for real-world applications, we adopt a novel electrode placement for forehead EOG and extract various eye movement features, which contain the principal information of traditional EOG. We explore the effects of EEG from different brain areas and combine EEG and forehead EOG to leverage their complementary characteristics for vigilance estimation. Considering that the vigilance of users is a dynamic changing process because the intrinsic mental states of users involve temporal evolution, we introduce continuous conditional neural field and continuous conditional random field models to capture dynamic temporal dependency. Main results. We propose a multimodal approach to estimating vigilance by combining EEG and forehead EOG and incorporating the temporal dependency of vigilance into model training. The experimental results demonstrate that modality fusion can improve the performance compared with a single modality, EOG and EEG contain complementary information for vigilance estimation, and the temporal dependency-based models can enhance the performance of vigilance estimation. From the experimental results, we observe that theta and alpha frequency activities are increased, while gamma frequency activities are decreased in drowsy states in contrast to awake states. Significance. The forehead setup allows for the simultaneous collection of EEG and EOG and achieves comparative performance using only four shared electrodes in comparison with the temporal and posterior sites.

연구 동기 및 목표

• 실생활 환경에서 지속적인 경각심 평가를 위한 웨어러블이고 저비용인 시스템을 개발한다.
• 이마 전극를 사용하여 EEG 및 EOG 신호를 동시에 기록할 수 있는 가능성을 탐구하여, 더 나은 신호 획득과 착용 편의성을 확보한다.
• EEG와 EOG 간의 상호보완적 정보를 활용하여 경각심 평가를 향상시키는 방법을 탐색한다.
• 연속 조건부 신경 필드와 랜덤 필드를 활용해 경각심의 동적 시간적 변화를 모델링한다.
• 혈액 알코올 농도와 유사한 표준화된 연속적 경각심 측정법을 제공하여 이산 분류 방식을 피한다.

제안 방법

• 이마의 네 개의 공유 전극를 사용해 EEG 및 EOG 신호를 동시에 기록함으로써 컴act하고 웨어러블한 설정을 구현한다.
• 이마 전기성안검도(EOG)에서 눈동자의 움직임 특징(VEO, HEO)을 추출하여 경각심과 관련된 안구 활동을 캡처한다.
• 뇌의 다양한 영역에서 EEG 신호를 분석하고, 주파수 대역 파wer 변화(티타, 알파, 감마)에 초점을 맞춘다.
• EEG 및 이마 전기성안검도(EOG) 특징을 융합하는 다모달 융합 전략을 통해 상호보완적 정보를 활용한다.
• 경각심의 시간적 동역학을 모델링하기 위해 연속 조건부 랜덤 필드(CCRF) 및 연속 조건부 신경 필드(CCNF)를 적용한다.
• 모델을 엔드 투 엔드로 훈련하여 고시간 해상도로 연속적인 경각심 수준을 예측한다.

실험 결과

연구 질문

• RQ1 네 전극로 구성된 이마 설정이 경각심 평가를 위해 EEG 및 EOG 신호를 신뢰성 있게 캡처할 수 있는가?
• RQ2 EEG 및 이마 전기성안검도(EOG) 특징은 경각심 수준 평가에서 어떻게 상호보완적인가?
• RQ3 경각심의 시간적 종속성을 모델링하면 정적 모델 대비 정확도 향상이 가능한가?
• RQ4 졸림 상태와 각성 상태에 관련된 특징적인 EEG 주파수 대역 변화는 무엇인가?
• RQ5 이러한 다모달 이마 기반 접근법이 후두 및 측두 전극를 사용한 전통적 시스템과 비교해 유사한 성능을 달성할 수 있는가?

주요 결과

• 시간 모델링을 통한 EEG 및 이마 전기성안검도(EOG)의 다모달 융합은 상관계수 0.85, RMSE 0.09를 기록하여 단일 모달 접근법보다 유의미하게 뛰어난 성능을 보였다.
• EEG 기반 경각심 평가만으로도 상관계수 0.70, RMSE 0.13을 달성했고, 이마 전기성안검도(EOG)만으로는 0.78과 0.12를 기록했다.
• 졸린 상태에서는 각성 상태에 비해 티타 및 알파 대역 파워가 증가하고 감마 대역 파워가 감소하는 경향을 보였다.
• 이마 전극 설정을 통해 네 개의 전극로만도 EEG 및 EOG를 동시에 고품질로 기록할 수 있었으며, 별도의 전극를 사용한 전통적 시스템과 유사한 성능을 달성했다.
• 연속 조건부 랜덤 필드를 통한 시간 모델링은 경각심의 동적 변화를 효과적으로 포착하여 정확도 향상에 기여했다.
• 제안된 방법은 실생활에서 지속적인 주의력 모니터링이 필요한 응용 분야를 위한 웨어러블이고 피사계(passive) BCI 시스템의 강력한 실현 가능성을 입증했다.