[논문 리뷰] Early Detection of Mental Stress Using Advanced Neuroimaging and Artificial Intelligence

Fares Al-Shargie|arXiv (Cornell University)|2019. 03. 20.

EEG and Brain-Computer InterfacesNeuroscience참고 문헌 143인용 수 20

한 줄 요약

이 연구는 정신적 스트레스 조기 감지의 정밀도를 향상시키기 위해 EEG와 fNIRS 신호를 융합하는 새로운 프레임워크를 제안한다. 공동 ICA와 CCA를 활용한 융합 방법은 분류 정확도, 민감도 및 특이도를 개별 모odalities 대비 최대 13.03% 향상시켰으며, 이는 신경영상 기술과 인공지능을 융합한 접근이 스트레스 감지에 있어 강력한 생물학적 지표가 될 수 있음을 시사한다.

ABSTRACT

While different neuroimaging modalities have been proposed to detect mental stress, each modality experiences certain limitations. This study proposed novel approaches to detect stress based on fusion of EEG and fNIRS signals in the feature-level using joint independent component analysis (jICA) and canonical correlation analysis method (CCA) and predected the level of stress using machine-learning approach. The jICA and CCA were then developed to combine the features to detect mental stress. The jICA fusion scheme discovers relationships between modalities by utilizing ICA to identify sources from each modality that modulate in the same way across subjects. The CCA fuse information from two sets of features to discover the associations across modalities and to ultimately estimate the sources responsible for these associations. The study further explored the functional connectivity (FC) and evaluated the performance of the fusion methods based on their classification performance and compared it with the result obtained by each individual modality. The jICA fusion technique significantly improved the classification accuracy, sensitivity and specificity on average by +3.46% compared to the EEG and +11.13% compared to the fNIRS. Similarly, CCA method improved the classification accuracy, sensitivity and specificity on average by +8.56% compared to the EEG and +13.03% compared to the fNIRS, respectively. The overall performance of the proposed fusion methods significantly improved the detection rate of mental stress, p<0.05. The FC significantly reduced under stress and suggested EEG and fNIRS as a potential biomarker of stress.

연구 동기 및 목표

• 개별 신경영상 모달리티(EEG 및 fNIRS)가 정신적 스트레스를 감지하는 데 한계를 극복하기 위해.
• 다중 모달 뇌 신호를 통합하여 스트레스 분류 성능을 향상시키는 기능 수준 융합 접근법을 개발하기 위해.
• 스트레스 상태에서의 기능적 연결성 변화를 평가하고, 이들이 신경생리학적 생물학적 지표로서의 잠재력을 분석하기 위해.
• 융합 기술(jICA 및 CCA)의 성능을 개별 모달리티와 비교하여 스트레스 수준 분류 능력을 평가하기 위해.
• 고급 신호 처리 및 기계학습 기법을 활용한 신뢰할 수 있고 데이터 기반의 정신적 스트레스 조기 감지 방법을 확립하기 위해.

제안 방법

• EEG 및 fNIRS 신호 간 공통된 소스 성분을 특정하기 위해 공동 독립성 분석(jICA)을 적용하여 참가자 간 공변하는 성분을 식별했다.
• EEG 및 fNIRS의 특징 집합 간 선형 관계를 발견하기 위해 최대 상관관계를 극대화하는 표준 코herence 분석(cca)을 적용했다.
• jICA 및 CCA를 사용하여 기능 수준에서 두 모달리티의 특징을 융합하여 스트레스 분류의 분류 능력을 향상시켰다.
• 융합된 특징을 기반으로 기계학습 분류기를 사용하여 스트레스 수준을 예측하였으며, 정확도, 민감도 및 특이도를 통해 성능을 평가했다.
• 스트레스 조건에서 EEG 및 fNIRS 신호의 기능적 연결성(FC) 변화를 정량화하여 신경생리학적 관련성을 평가했다.
• 통계적 분석의 강도를 확보하기 위해 190페이지, 67幅 그림 및 9개의 표를 포함한 데이터셋을 사용하여 융합 프레임워크를 검증했다(p < 0.05).

실험 결과

연구 질문

• RQ1 공동 ICA 및 CCA는 개별 모달리티를 초월하여 EEG와 fNIRS 신호를 효과적으로 융합하여 정신적 스트레스 감지 성능을 향상시킬 수 있는가?
• RQ2 정신적 스트레스 상태에서 EEG 및 fNIRS의 기능적 연결성은 어떻게 변화하며, 이러한 변화는 신뢰할 수 있는 생물학적 지표가 될 수 있는가?
• RQ3 다중 모달 융합(jICA 및 CCA)의 성능 향상은 단일 모달리티 대비 얼마나 높은가?
• RQ4 융합 기법은 스트레스 감지의 민감도 및 특이도를 얼마나 향상시키는가?
• RQ5 제안된 융합 프레임워크는 정신적 스트레스 분류 정확도 향상에 통계적으로 유의미한가?

주요 결과

• jICA 융합 방법은 EEG 대비 평균 3.46% 향상된 분류 정확도, 민감도 및 특이도를 기록했으며, fNIRS 대비 11.13% 향상되었다.
• CCA 융합 방법은 EEG 대비 평균 8.56% 향상되었고, fNIRS 대비 13.03% 향상된 분류 성능을 달성했다.
• 스트레스 상태에서 기능적 연결성이 유의미하게 감소하여 측정 가능한 신경생리학적 반응임을 시사했다.
• 두 융합 기법의 총합 성능는 통계적으로 유의미했으며(p < 0.05), 감지 능력 향상이 확인되었다.
• jICA 및 CCA를 활용한 EEG와 fNIRS 융합은 개별 모달리티를 뛰어넘어 우수한 성능을 보였으며, 다중 모달 통합의 가치를 입증했다.
• 이 연구는 고급 AI 기법과 융합된 EEG 및 fNIRS가 조기 정신적 스트레스 감지에 있어 상호보완적인 생물학적 지표로 기능할 수 있음을 증거로 제시한다.