[논문 리뷰] Simulation Experiment of BCI Based on Imagined Speech EEG Decoding

Kang Wang, Xueqian Wang외 1명|arXiv (Cornell University)|2017. 05. 22.

EEG and Brain-Computer Interfaces참고 문헌 10인용 수 8

한 줄 요약

이 논문은 청각 자극 없이도 문장 수준의 상상된 말을 뇌파(EEG) 신호로부터 디코딩하기 위한 새로운 엔드 투 엔드 딥 러닝 프레임워크를 제안한다. 수정된 EEGNet과 연결주의적 시간 분류(CTC)를 통합함으로써, 모델은 거의 완벽한 문자 수준 편집 거리로 합성된 상상된 말 EEG 데이터를 성공적으로 디코딩하여, 상상된 말 기반 고용량 뇌-컴퓨터 인터페이스(BCI)의 실현 가능성을 입증한다.

ABSTRACT

Brain Computer Interface (BCI) can help patients of neuromuscular diseases restore parts of the movement and communication abilities that they have lost. Most of BCIs rely on mapping brain activities to device instructions, but limited number of brain activities decides the limited abilities of BCIs. To deal with the problem of limited ablility of BCI, this paper verified the feasibility of constructing BCI based on decoding imagined speech electroencephalography (EEG). As sentences decoded from EEG can have rich meanings, BCIs based on EEG decoding can achieve numerous control instructions. By combining a modified EEG feature extraction mehtod with connectionist temporal classification (CTC), this paper simulated decoding imagined speech EEG using synthetic EEG data without help of speech signal. The performance of decoding model over synthetic data to a certain extent demonstrated the feasibility of constructing BCI based on imagined speech brain signal.

연구 동기 및 목표

• 기존 BCI의 지시어 집합이 제한되어 있음을 해결하기 위해, 더 풍부한 의사소통 능력을 위한 길로 문장 수준의 상상된 말 디코딩을 탐색한다.
• 상상된 말 디코딩 과정에서 레이블링 및 세그먼테이션을 위해 청각 신호에 의존하는 것을 극복함으로써, 실시간 및 실용적인 BCI 응용의 한계를 줄인다.
• 시간적, 주파수적, 공간적 EEG 특징을 동시에 추출할 수 있는 딥 러닝 프레임워크를 개발하여 강력한 문장 수준 디코딩을 실현한다.
• 뇌파 신호 데이터만을 사용하여 상상된 말을 직접 EEG 신호에서 해석할 수 있는 BCI 시스템의 실현 가능성을 검증한다.
• 향후 자연어 처리와 EEG 기반 BCI를 통합하여 확장 가능하고 융통성 있는 의사소통 인터페이스를 위한 기반을 마련한다.

제안 방법

• CNN 기반 특징 추출기 위에 양방향 RNN을 추가하여, 다중 채널 EEG 신호로부터 공간적, 주파수적, 시간적 특징을 추출할 수 있도록 수정된 EEGNet 아키텍처를 사용한다.
• 강제 정렬이나 음소 변환 없이도 엔드 투 엔드 시퀀스-투-시퀀스 학습을 가능하게 하기 위해 연결주의적 시간 분류(CTC)를 적용한다.
• 음소에 해당하는 사전 기록된 EEG 세그먼트를 무작위로 선택하고 연결한 후, 현실감을 높이기 위해 스무딩 처리를 거쳐 합성된 상상된 말 EEG 데이터를 생성한다.
• 교차 엔트로피 손실 함수를 사용하여 합성 데이터에서 경사 하강법을 적용하여 모델을 훈련시키며, 성능 평가에는 문자 수준 편집 거리를 사용한다.
• 테스트 EEG 입력에서 가장 가능성이 높은 음소 시퀀스를 예측하기 위해 동적 프로그래밍을 활용한 급진적 디코딩을 수행한다.
• 훈련 다양성을 높이기 위해 시퀀스 레이블을 무작위로 연장하고, 해당하는 EEG 세그먼트를 선택하는 데이터 증강 기법을 적용한다.

실험 결과

연구 질문

• RQ1 청각 신호나 음소 레이블이 없는 조건에서 딥 러닝 모델이 EEG 신호로부터 문장 수준의 상상된 말을 디코딩할 수 있는가?
• RQ2 RNN과 CTC 아키텍처를 갖춘 수정된 EEGNet이 합성된 상상된 말 EEG 데이터로부터 시간 동적 특성과 의미 있는 특징을 얼마나 잘 포착할 수 있는가?
• RQ3 모델이 시퀀스 수준 정확도 측면에서 새로운 합성 테스트 샘플로 일반화하는 데 얼마나 잘 성능을 내는가?
• RQ4 모델이 합성 데이터에서 높은 디코딩 성능를 달성할 수 있는가? 이는 실제 BCI 응용에서 상상된 말 기반 시스템의 실현 가능성을 시사하는가?
• RQ5 공간적, 주파수적, 시간적 EEG 특징 추출을 통합함으로써 상상된 말 시퀀스의 전체 디코딩 정확도에 어떤 영향을 미치는가?

주요 결과

• 200번의 훈련 반복 후, 문자 수준 편집 거리는 0.009로 나타나 합성 테스트 세트에서 거의 완벽한 디코딩 성능를 보였다.
• 초기 상태에서 문자 수준 편집 거리는 0.869에서 200회 반복 후 0.009로 감소하여, 빠른 수렴과 높은 학습 능력을 입증했다.
• 첫 20개의 테스트 샘플에 대한 주관적 평가 결과, 디코딩된 시퀀스는 정답 레이블과 거의 일치했으며, 미세한 오차와 추가된 패딩 0만 약간 존재했다.
• 모델는 청각 지도 없이도 복잡하고 비정상적인 EEG 신호를 의미 있는 음소 시퀀스로 매핑하는 데 성공했다.
• RNN과 EEGNet, CTC의 통합은 EEG 데이터의 시간적 의존성을 효과적으로 모델링할 수 있게 하여, 시퀀스 수준 디코딩에 핵심적인 역할을 했다.
• 결과적으로, 문장 수준의 의미 정보가 상상된 말 EEG 신호로부터 추출될 수 있으며, 이는 고용량 BCI의 실현 가능성을 뒷받침한다.