[논문 리뷰] Inner speech recognition through electroencephalographic signals

Francesca Gasparini, Elisa Cazzaniga외 1명|arXiv (Cornell University)|2022. 10. 11.

EEG and Brain-Computer Interfaces인용 수 11

한 줄 요약

이 연구는 생체자극이 없는 뇌-컴퓨터 인터페이스를 위한 내면어휘 인식을 위해 EEG 신호를 활용한 딥러닝 접근법을 제안한다. BiLSTM 네트워크를 이용해 원시 다중채널 EEG 데이터에서 상상된 단어를 분류한다. 'Thinking Out Loud' 데이터셋에서 평균 정확도 36.1%를 달성하여 기존 최고 성능 기술들을 능가하며, 생체자극이 없는 내면어휘 인식 시스템에서 BiLSTM 모델을 활용한 원시 EEG 입력의 종결형 접근 방식이 효과적임을 입증한다.

ABSTRACT

This work focuses on inner speech recognition starting from EEG signals. Inner speech recognition is defined as the internalized process in which the person thinks in pure meanings, generally associated with an auditory imagery of own inner "voice". The decoding of the EEG into text should be understood as the classification of a limited number of words (commands) or the presence of phonemes (units of sound that make up words). Speech-related BCIs provide effective vocal communication strategies for controlling devices through speech commands interpreted from brain signals, improving the quality of life of people who have lost the capability to speak, by restoring communication with their environment. Two public inner speech datasets are analysed. Using this data, some classification models are studied and implemented starting from basic methods such as Support Vector Machines, to ensemble methods such as the eXtreme Gradient Boosting classifier up to the use of neural networks such as Long Short Term Memory (LSTM) and Bidirectional Long Short Term Memory (BiLSTM). With the LSTM and BiLSTM models, generally not used in the literature of inner speech recognition, results in line with or superior to those present in the stateof-the-art are obtained.

연구 동기 및 목표

• 내면어휘를 EEG 신호를 이용해 복원하는 비침습적 뇌-컴퓨터 인터페이스(BCI)를 개발하는 것.
• 공개된 데이터셋의 제한적이고 노이즈가 많은 특성으로 인해 내면어휘 인식의 분류 정확도가 낮은 문제를 해결하는 것.
• 공개된 내면어휘 EEG 데이터셋에 대해 다양한 기계학습 및 딥러닝 모델의 성능을 평가하는 것.
• 수작업으로 추출한 특징보다 원시 EEG 데이터를 사용할 경우 성능 향상이 이루어지는지 조사하는 것.
• 최고 성능을 보인 모델의 일반화 능력을 다양한 실험 프로토콜 및 데이터셋 간에 검증하는 것.

제안 방법

• 연구는 유사한 실험 프로토콜을 기반으로 수집된 두 개의 공개 내면어휘 EEG 데이터셋을 사용한다: 'Thinking Out Loud'와 'Imagined Speech'이다.
• 모든 전극에서 수집된 원시 다중채널 EEG 데이터를 사용하여 사전 특징 선택 또는 전처리의 편향을 방지한다.
• BiLSTM 신경망 아키텍처를 적용하며, BiLSTM 층 다음에 활성화 함수로 ReLU를 사용하는 두 개의 완전 연결 층과 최종적으로 소프트맥스 출력 층이 이어진다.
• 과적합을 줄이기 위해 드롭아웃 층을 적용하고, 교차엔트로피 손실 함수를 사용한 확률적 경사 하강법(SGD)으로 모델을 훈련시킨다.
• 기존 모델인 SVM, XGBoost, LSTM, EEGNet과의 성능 비교를 위해 원시 데이터와 전력 스펙트럼 밀도(PSD) 및 상대 웨이블릿 에너지(RWE)와 같은 특징을 추출한 데이터를 모두 사용한다.
• 개별 사용자별 성능을 평가하여 개인 간 변동성과 안정성을 분석한다.

실험 결과

연구 질문

• RQ1 원시 EEG 데이터를 사용해 훈련된 BiLSTM 모델이 기존 모델보다 내면어휘 인식에서 더 높은 분류 정확도를 달성할 수 있는가?
• RQ2 수작업 특징(예: PSD 또는 RWE) 대비 특징 엔지니어링 없이 원시 다중채널 EEG 데이터를 사용할 경우 성능 향상이 이루어지는가?
• RQ3 최고 성능 모델의 성능가 다양한 내면어휘 데이터셋 간에 일반화되는가? (유사 프로토콜로 수집된 데이터셋 기준)
• RQ4 특히 낮은 정확도를 보이는 사용자들에서 성능 변동성이 발생하는 주요 요인은 무엇인가?
• RQ5 모델의 성능가 다중 클래스 내면어휘 인식에서 우연 수준을 초월하고 기존 최고 성능 기술을 얼마나 뛰어넘는가?

주요 결과

• BiLSTM 모델은 모든 채널의 원시 EEG 데이터를 사용해 'Thinking Out Loud' 데이터셋에서 평균 정확도 36.1%를 달성하였으며, 이는 25%의 우연 수준을 크게 초월한다.
• 이 성능는 이전 최고 성능 기술인 SVM(26.2%), XGBoost(27.9%), LSTM(30.4%)를 모두 능가하며, 동일한 데이터셋에서의 성능을 초월한다.
• BiLSTM 모델은 'Imagined Speech' 데이터셋에서 25.1%의 정확도를 기록하여 16.7%의 우연 수준을 초월하며, 이는 비슷한 데이터셋 간 일반화 능력을 확인한다.
• 사용자 4번과 5번은 일관되게 낮은 성능(31.67%, 33.67%)을 보였으며, 이는 주의력이나 작업 준수 문제보다는 데이터 품질 또는 전극 배치 문제일 가능성이 높다.
• 모든 채널의 원시 EEG 데이터를 사용한 결과가 수작업 특징보다 더 우수한 성능을 보였으며, 이는 BiLSTM이 더 깊은 시간적 모델링을 통해 더 유의미한 신경 패턴을 포착할 수 있음을 시사한다.
• 이 연구는 BiLSTM 모델이 EEG에서 종결형 내면어휘 인식에 효과적임을 확인하였으며, 기존 모델을 능가하고 실시간 BCI 응용 분야의 발전을 이끌고 있다.