[논문 리뷰] Predicting speech intelligibility from EEG using a dilated convolutional network.

Bernd Accou, Mohammad Jalilpour-Monesi외 2명|arXiv (Cornell University)|2021. 05. 14.

EEG and Brain-Computer Interfaces참고 문헌 30인용 수 9

한 줄 요약

이 연구는 개인별 재학습이 필요 없이 EEG 신호로부터 말 이해도를 예측하는 확장 컨볼루션 신경망을 도입하여 기준 모델보다 뚜렷한 성능 향상을 이루었으며, 행동적 MATRIX 테스트와 강한 상관관계(r=0.59)를 보이며, 미리보지 않은 피험자에 대한 첫 번째 객관적이고 일반화 가능한 EEG 기반 말 수신 임계값 예측을 이룩하였다.

ABSTRACT

Objective: Currently, only behavioral speech understanding tests are available, which require active participation of the person. As this is infeasible for certain populations, an objective measure of speech intelligibility is required. Recently, brain imaging data has been used to establish a relationship between stimulus and brain response. Linear models have been successfully linked to speech intelligibility but require per-subject training. We present a deep-learning-based model incorporating dilated convolutions that can be used to predict speech intelligibility without subject-specific (re)training. Methods: We evaluated the performance of the model as a function of input segment length, EEG frequency band and receptive field size while comparing it to a baseline model. Next, we evaluated performance on held-out data and finetuning. Finally, we established a link between the accuracy of our model and the state-of-the-art behavioral MATRIX test. Results: The model significantly outperformed the baseline for every input segment length (p$\leq10^{-9}$), for all EEG frequency bands except the theta band (p$\leq0.001$) and for receptive field sizes larger than 125 ms (p$\leq0.05$). Additionally, finetuning significantly increased the accuracy (p$\leq0.05$) on a held-out dataset. Finally, a significant correlation (r=0.59, p=0.0154) was found between the speech reception threshold estimated using the behavioral MATRIX test and our objective method. Conclusion: Our proposed dilated convolutional model can be used as a proxy for speech intelligibility. Significance: Our method is the first to predict the speech reception threshold from EEG for unseen subjects, contributing to objective measures of speech intelligibility.

연구 동기 및 목표

• 행동 테스트에 참여할 수 없는 집단을 위해 EEG를 이용한 말 이해도 평가를 위한 객관적이고 비침습적인 방법을 개발하는 것.
• 개별 피험자에 대한 재학습이 필요한 기존 선형 모델의 한계를 극복하기 위해 일반화 능력을 갖춘 딥러닝 접근법을 도입하는 것.
• 뇌 활동 패턴을 기반으로 신뢰할 수 있고 피험자에 관계없는 말 수신 임계값의 대체 지표를 설정하는 것.
• 입력 세그먼트 길이, EEG 주파수 대역, 수신장 크기 등 다양한 조건에서 모델의 강인성을 평가하는 것.
• 황금 표준으로 간주되는 행동적 MATRIX 테스트와의 예측 정확도를 검증하는 것.

제안 방법

• 확장 컨볼루션 신경망(DCNN)을 사용하여 수신장이 확장된 상태에서 EEG 신호의 시간적 의존성을 모델링함으로써 파rameter 수를 늘리지 않고도 장기적 맥락을 모델링할 수 있도록 한다.
• 모델은 고정 길이의 윈도우로 분할된 원시 또는 전처리된 EEG 데이터를 처리하며, 입력 구성은 세그먼트 길이, 주파수 대역(예: 알파, 베타, 감마) 및 수신장 크기 등으로 다양하게 설정된다.
• 모델 아키텍처는 확장 컨볼루션을 사용하여 효과적인 수신장을 증가시켜, 더 긴 시간 창 동안 말과 관련된 신경 동역학을 포착할 수 있도록 한다.
• 모델 성능은 보류된 테스트 데이터와 미세조정 전략을 사용하여 일반화 능력과 새로운 피험자에 대한 적응 능력을 평가한다.
• 모델는 말 이해도 점수를 예측하기 위해 엔드 투 엔드로 훈련되며, 손실는 평균 제곱오차 또는 유사한 회귀 기준으로 최적화된다.
• 모델의 성능는 다양한 평가 지표를 기준으로 선형 기준 모델과 비교하며, 행동 임계값과의 상관관계를 포함한다.

실험 결과

연구 질문

• RQ1 확장 컨볼루션을 사용하는 딥러닝 모델이 개인별 재학습 없이 EEG로부터 말 이해도를 예측할 수 있는가?
• RQ2 입력 세그먼트 길이가 모델의 말 이해도 예측 능력에 어떤 영향을 미치는가?
• RQ3 어느 EEG 주파수 대역이 말 이해도 정확한 예측에 가장 기여하는가?
• RQ4 말 이해와 관련된 관련 신경 패턴을 포착하기 위한 최적의 수신장 크기는 무엇인가?
• RQ5 미세조정이 새로운 피험자에 대한 모델 성능 향상에 얼마나 기여하는가?

주요 결과

• 확장 컨볼루션 모델은 모든 입력 세그먼트 길이에서 선형 기준 모델을 유의미하게 뛰어넘었다(p ≤ 10⁻⁹).
• 모델은 테타 대역을 제외한 모든 EEG 주파수 대역에서 기준 모델 대비 통계적으로 유의미한 성능 향상을 보였다(p ≤ 0.001).
• 125ms 이상의 수신장 크기를 가진 경우 성능 향상이 뚜렷하게 유의미했다(p ≤ 0.05), 장기적 시간 맥락의 중요성을 시사한다.
• 보류된 데이터에서의 미세조정은 모델 정확도를 유의미하게 향상시켰다(p ≤ 0.05), 새로운 피험자에 대한 적응 능력을 입증한다.
• 모델의 예측된 말 수신 임계값과 행동적 MATRIX 테스트 결과 사이에 유의미한 양의 상관관계(r = 0.59, p = 0.0154)를 관찰했다.
• 본 연구는 새로운 피험자에 대해 객관적이고 비침습적이며 일반화 가능한 딥러닝 접근법을 사용해 EEG 기반 말 수신 임계값을 예측하는 데 있어 첫 번째 방법을 제시한다.