[논문 리뷰] A Novel Deep Learning Architecture for Decoding Imagined Speech from EEG

Jerrin Thomas Panachakel, A. G. Ramakrishnan외 1명|arXiv (Cornell University)|2020. 03. 19.

EEG and Brain-Computer Interfaces참고 문헌 16인용 수 24

한 줄 요약

이 논문은 뇌전도(EEG) 신호에서 상상된 말을 분류하기 위해 개별 EEG 채널을 독립적인 데이터 벡터로 간주하여 학습 샘플 수를 늘리는 새로운 딥러닝 아키텍처를 제안한다. 공통 공간 패턴(CSP)을 통한 채널 선택, 이산 웨이블릿 변환(DWT)을 통한 특징 추출, 그리고 다수결 투표를 통한 사차원 DNN(40개의 뉴런을 가진 4층)를 조합함으로써, ASU 상상된 말 데이터셋에서 평균 정확도 71.8% ± 8.6%를 달성하여, 저자료 환경에서 EEG 기반 말 복원에 딥뉴럴넷(DNN)을 적용할 수 있음을 입증한다.

ABSTRACT

The recent advances in the field of deep learning have not been fully utilised for decoding imagined speech primarily because of the unavailability of sufficient training samples to train a deep network. In this paper, we present a novel architecture that employs deep neural network (DNN) for classifying the words "in" and "cooperate" from the corresponding EEG signals in the ASU imagined speech dataset. Nine EEG channels, which best capture the underlying cortical activity, are chosen using common spatial pattern (CSP) and are treated as independent data vectors. Discrete wavelet transform (DWT) is used for feature extraction. To the best of our knowledge, so far DNN has not been employed as a classifier in decoding imagined speech. Treating the selected EEG channels corresponding to each imagined word as independent data vectors helps in providing sufficient number of samples to train a DNN. For each test trial, the final class label is obtained by applying a majority voting on the classification results of the individual channels considered in the trial. We have achieved accuracies comparable to the state-of-the-art results. The results can be further improved by using a higher-density EEG acquisition system in conjunction with other deep learning techniques such as long short-term memory.

연구 동기 및 목표

• EEG에서 상상된 말을 복원하기 위한 딥러닝에 있어 제한된 학습 데이터 문제를 해결하기 위해.
• EEG 기반 뇌-컴퓨터 인터페이스에서 저자료 환경에서 딥뉴럴넷(DNN)을 분류기로 사용할 수 있는지 탐색하기 위해.
• 선택된 EEG 채널을 독립적인 입력 벡터로 간주하여 효과적인 학습 샘플 수를 늘림으로써 분류 성능을 향상시키기 위해.
• 이중 분류('in'과 'cooperate')를 위한 ASU 상상된 말 데이터셋에서 제안된 아키텍처를 검증하기 위해.

제안 방법

• 각 시험에서 공통 공간 패턴(CSP) 방법을 사용하여 분류 간 분산을 최대화하기 위해 분류 능력이 가장 높은 9개의 EEG 채널을 선별한다.
• 각 선별된 채널에 대해 이산 웨이블릿 변환(DWT)을 적용하여 각 채널당 12차원의 특징 벡터를 추출한다.
• 각 시험에서 최대 및 최소 공간 필터에서 유도된 가장 분류 능력이 높은 두 채널의 DWT 특징을 연결하여 총 9개의 24차원 특징 벡터를 형성한다.
• 24차원 특징 벡터를 입력으로 사용하는 4층의 밀집층(Dense Layer)을 갖는 딥뉴럴넷(DNN)을 학습한다. 각 층은 ReLU 및 hyperbolic tangent 활성화 함수, 배치 정규화, 드롭아웃(각각 10% 및 30%)를 포함한다.
• 최종 분류는 각 시험에서 9개의 채널별 DNN 출력에 대해 다수결 투표를 통해 수행된다.
• 데이터 유출을 방지하기 위해 엄격한 데이터 분할 전략을 사용한 10겹 교차검증을 실시하며, 한 시험의 모든 채널이 동일한 세트(학습 또는 테스트)에 포함되도록 한다.

실험 결과

연구 질문

• RQ1 상상된 말 복원에 있어 딥러닝을 위한 학습 데이터가 제한된 상황에서 개별 EEG 채널을 독립적인 데이터 벡터로 간주하는 것이 효과적으로 학습 샘플 수를 늘릴 수 있는가?
• RQ2 제안된 DNN 기반 분류기와 기존 방법들(예: SVM, ELM, RVM) 간의 성능 비교에서, EEG 신호로부터 상상된 단어를 분류하는 데 있어 어떤 차이가 있는가?
• RQ3 CSP를 통한 채널 선택과 DWT를 통한 특징 추출이 저자료 상황에서 상상된 말 분류 정확도에 어떤 영향을 미치는가?
• RQ4 채널별 DNN 예측 결과에 대해 다수결 투표 전략을 적용할 경우 EEG 기반 말 복원의 정확도와 내성은 어떻게 향상되는가?
• RQ5 제한된 학습 데이터가 존재하는 상황에서 딥러닝이 상상된 말 복원에 얼마나 효과적으로 적용될 수 있는가?

주요 결과

• 제안된 방법은 4명의 피실험자(S1, S5, S8, S9)에 대해 평균 교차검증 정확도 71.8% ± 8.6%를 달성하였으며, CSP+SVM 및 통계적 특징+ELM 등의 기준 방법들을 능가하였다.
• 피실험자 S9는 최고의 정확도 86.2% ± 8.7%를 기록하여 뚜렷한 개인별 성능을 보였고, S8는 가장 낮은 71.0% ± 5.3%의 정확도를 기록하였다.
• 이 방법의 정확도(71.8% ± 8.6%)는 최신 기술인 Tangent + RVM Method(2)의 77.6% ± 5.7%에 못 미치지만, 여전히 강력한 경쟁력 있는 성능을 보였다.
• 상상된 말 복원에 딥뉴럴넷을 분류기로 사용할 수 있음을 검증하였으며, 제한된 학습 데이터 조건에서도 아키텍처의 타당성이 입증되었다.
• 이 방법은 확장 가능하며, 향후 고해상도 EEG 시스템(예: 128채널)을 사용할 경우 학습 데이터 양이 증가하고 더 복잡한 모델을 적용할 수 있어 성능 향상이 기대된다.
• 다수결 투표 전략은 개별 채널의 예측 결과를 효과적으로 통합하여 내성과 정확도를 향상시키는 데 기여하였다.