[논문 리뷰] Classification of auditory stimuli from EEG signals with a regulated recurrent neural network reservoir

Marc-Antoine Moinnereau, Thomas Brienne외 4명|arXiv (Cornell University)|2018. 04. 26.

EEG and Brain-Computer Interfaces인용 수 9

한 줄 요약

이 연구는 최소한의 전처리된 뇌전도 신호에서 听いた 영어 모음(a, i, u)을 분류하기 위해 규제된 순환 신경망(RNN) 리저보아를 제안한다. 64개의 전극을 모두 사용할 경우 8명의 피험자 평균 분류 정확도가 83.2%에 도달했으며, 이는 깊이 있는 신경망(DNN)보다 우수한 성능을 보였다. 또한 10개의 전극만으로도 81.7%의 높은 정확도를 유지하여 원시 EEG에 대한 엔드 투 엔드 학습의 효과성을 입증한다. 이는 청각 자극 분류에 있어 최소한의 전처리로도 높은 성능을 달성할 수 있음을 시사한다.

ABSTRACT

The use of electroencephalogram (EEG) as the main input signal in brain-machine interfaces has been widely proposed due to the non-invasive nature of the EEG. Here we are specifically interested in interfaces that extract information from the auditory system and more specifically in the task of classifying heard speech from EEGs. To do so, we propose to limit the preprocessing of the EEGs and use machine learning approaches to automatically extract their meaningful characteristics. More specifically, we use a regulated recurrent neural network (RNN) reservoir, which has been shown to outperform classic machine learning approaches when applied to several different bio-signals, and we compare it with a deep neural network approach. Moreover, we also investigate the classification performance as a function of the number of EEG electrodes. A set of 8 subjects were presented randomly with 3 different auditory stimuli (English vowels a, i and u). We obtained an excellent classification rate of 83.2% with the RNN when considering all 64 electrodes. A rate of 81.7% was achieved with only 10 electrodes.

연구 동기 및 목표

• 규제된 RNN 리저보아가 최소한의 전처리된 EEG 신호에서 청각 자극을 효과적으로 분류할 수 있는지 조사하기 위해.
• RNN 리저보아의 성능을 EEG를 사용한 听은 모음 분류 작업에서 DNN와 비교하기 위해.
• 사용된 EEG 전극 수에 따라 분류 정확도가 어떻게 변하는지 평가하기 위해.
• 미래의 상상된 말 분류를 위한 기초가 되는, 听은 말을 EEG로 분류하는 기준 성능을 설정하기 위해.

제안 방법

• 10-20 체계에 따라 배치된 64개 전극에서 기록한 EEG 신호를 사용하여 모음 a, i, u 자극을 청각적으로 제공하였다.
• 신호는 표준 0.1–45 Hz 대역통과 필터를 적용하였으며, 이후 특징 공학은 수행하지 않았다.
• 규제된 RNN 리저보아를 사용하여 EEG 데이터의 시간적 동역학을 학습하였고, 독독층은 선형 회귀를 통해 훈련되었다.
• 리저보아의 내부 상태를 분류를 위한 표현으로 사용하였으며, 독독층은 모음 클래스 레이블(a, i, u)로 매핑되었다.
• 비교 기준으로 삼기 위해 3개의 합성곱층과 최대 풀링을 포함한 DNN을 사용하였으며, Adam 최적화를 통해 훈련하였다.
• 분류 성능 평가에는 5겹 교차검증을 사용하였으며, 정확도는 올바르게 분류된 모음 시험의 비율로 측정되었다.

실험 결과

연구 질문

• RQ1 규제된 RNN 리저보아는 최소한의 EEG 전처리로도 听은 모음을 높은 정확도로 분류할 수 있는가?
• RQ2 동일한 EEG 기반 모음 분류 작업에서 RNN 리저보아의 성능은 깊이 있는 신경망(DNN)과 비교해 어떻게 되는가?
• RQ3 EEG 전극 수를 줄일 경우 분류 정확도에 어떤 영향을 미치며, 얼마나 많은 전극이 높은 성능을 위해 충분한가?
• RQ4 RNN 리저보아는皮질의 청각 처리와 관련된 신경 동역학을 효과적으로 포착하는가?

주요 결과

• 모든 64개의 EEG 전극을 사용할 경우, 규제된 RNN 리저보아는 8명의 피험자 평균 분류 정확도 83.2%를 달성하였다.
• RNN은 DNN보다 유의미하게 뛰어난 성능을 보였으며, 평균 정확도는 각각 83.2%와 48.6%였다.
• 전극 수를 10개로 줄였을 때도 분류 정확도가 81.7%에 도달하여, 낮은 전극 수로도 높은 성능을 달성할 수 있음을 보여주었다.
• 개별 피험자 중 가장 높은 정확도는 RNN로 90.4%였고, 가장 낮은 것은 67.7%였으며, 이는 피험자 간 변동이 있음에도 불구하고 전반적으로 뛰어난 성능임을 시사한다.
• 모음 'i'가 가장 높은 분류 정확도(87.0%)를 보였고, 이어 'u'(81.3%)와 'a'(81.1%)가 뒤를 이었다. 이는 차별적인 신경 표현 또는 탐지 가능성의 차이를 시사한다.
• 결과적으로 최소한의 전처리만으로도 높은 분류 정확도를 달성할 수 있음을 보여주며, EEG 기반 청각 자극 분류에 엔드 투 엔드 학습을 적용할 수 있음을 뒷받침한다.