[논문 리뷰] EEG2TEXT: Open Vocabulary EEG-to-Text Decoding with EEG Pre-Training and Multi-View Transformer

Hanwen Liu, Daniel Hajialigol외 3명|arXiv (Cornell University)|2024. 05. 03.

EEG and Brain-Computer Interfaces인용 수 4

한 줄 요약

EEG2Text는 원시 EEG 신호의 사전 훈련과 다중 시각 변환기 아키텍처를 활용하여 의미 표현과 디코딩 정확도를 향상시키는 새로운 오픈 빈도어 EEG-텍스트 디코딩 모델을 제안한다. 마스크된 원시 EEG 신호에서 사전 훈련하고 뇌의 공간적 영역을 다중 시각 변환기를 통해 모델링함으로써, 기존 방법에 비해 절대 BLEU 및 ROUGE 점수에서 최대 5% 향상된 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Deciphering the intricacies of the human brain has captivated curiosity for centuries. Recent strides in Brain-Computer Interface (BCI) technology, particularly using motor imagery, have restored motor functions such as reaching, grasping, and walking in paralyzed individuals. However, unraveling natural language from brain signals remains a formidable challenge. Electroencephalography (EEG) is a non-invasive technique used to record electrical activity in the brain by placing electrodes on the scalp. Previous studies of EEG-to-text decoding have achieved high accuracy on small closed vocabularies, but still fall short of high accuracy when dealing with large open vocabularies. We propose a novel method, EEG2TEXT, to improve the accuracy of open vocabulary EEG-to-text decoding. Specifically, EEG2TEXT leverages EEG pre-training to enhance the learning of semantics from EEG signals and proposes a multi-view transformer to model the EEG signal processing by different spatial regions of the brain. Experiments show that EEG2TEXT has superior performance, outperforming the state-of-the-art baseline methods by a large margin of up to 5% in absolute BLEU and ROUGE scores. EEG2TEXT shows great potential for a high-performance open-vocabulary brain-to-text system to facilitate communication.

연구 동기 및 목표

• 큰 다양성 있는 어휘에서 낮은 성능으로 인해 여전히 제한되어 있는 정확한 오픈 빈도어 EEG-텍스트 디코딩 문제를 해결한다.
• 어휘 수준의 EEG 특징을 추출하기 위해 눈동자 추적 캘리브레이션에 의존하는 기존 방법의 한계를 극복한다. 이는 오류를 유발하고 일반화 능력을 떨어뜨린다.
• 원시 EEG 신호의 마스크된 입력에서의 엔드 투 엔드 사전 훈련을 통해 원시 EEG 신호의 의미 표현을 향상시킨다.
• 다중 시각 변환기 아키텍처를 통해 뇌 신호 처리를 다양한 공간적 영역에서 모델링함으로써 디코딩 성능을 향상시킨다.
• 문장 수준의 EEG 신호만을 사용하여 자연어 커뮤니케이션을 지원하는 일반화 가능한 비침습적 뇌-텍스트 시스템을 개발한다.

제안 방법

• 장기간이고 노이즈가 많은 원시 EEG 신호를 처리하기 위해 기본 컨볼루션 트랜스포머 모델을 활용하여 국소적이고 전역적인 시간-공간적 특징을 추출한다.
• 원시 EEG 신호의 무작위 세그먼트를 마스크하고 원래 신호를 재구성하도록 훈련하는 사전 훈련 목표를 구현함으로써 의미 학습 능력을 향상시킨다.
• 각 시각이 뇌의 별개의 공간적 영역에 대응하는 다중 시각 트랜스포머 아키텍처를 도입하여 영역별 신호 처리를 가능하게 한다.
• 다중 시각 설정에서 각 시각의 백본으로 사전 훈련된 트랜스포머를 활용하여 공유된 특징과 전문화된 특징을 통해 표현 학습을 향상시킨다.
• 다중 시각 EEG 표현을 조건으로 삼아 자동 회귀적 텍스트 생성을 위한 사전 훈련된 BART 모델을 활용한다.
• 텍스트 생성에서 BLEU 및 ROUGE 점수 최적화를 위해 시퀀스-투-시퀀스 목표로 전체 모델을 엔드 투 엔드로 훈련한다.

실험 결과

연구 질문

• RQ1 원시 EEG 신호에서의 EEG 사전 훈련이 오픈 빈도어 EEG-텍스트 디코딩을 위한 의미 표현 학습에 기여하는가?
• RQ2 단일 통합 표현에 비해 다중 공간적 뇌 영역을 통한 EEG 신호 모델링이 디코딩 성능 향상에 어떻게 기여하는가?
• RQ3 제안된 EEG2Text 모델이 기존 최신 기술 수준의 방법에 비해 오픈 빈도어 EEG-텍스트 번역에서 얼마나 뛰어난 성능을 보이는가?
• RQ4 눈동자 추적을 사용하지 않고도 비침습적 EEG 기반 시스템이 높은 정확도를 달성할 수 있는가?
• RQ5 사전 훈련과 다중 시각 주의 메커니즘의 통합이 다양한 실제 텍스트 입력에 대한 일반화 및 강건성 향상에 기여하는가?

주요 결과

• EEG2Text는 오픈 빈도어 EEG-텍스트 디코딩에서 최신 기술 수준의 성능을 달성하여, 최고의 베이스라인 방법에 비해 절대 BLEU 및 ROUGE 점수에서 최대 5% 향상되었다.
• 제안된 EEG 사전 훈련 전략은 특히 자원이 제한되고 어휘가 오픈된 환경에서 원시 EEG 신호로부터 의미 있는 의미 표현을 학습하는 데 모델의 능력을 크게 향상시켰다.
• 다중 시각 트랜스포머 아키텍처는 영역별 신경 동역학을 포착함으로써 더 정확하고 맥락에 부합하는 텍스트 생성을 가능하게 하여 성능 향상을 이끌었다.
• 모델는 문장 수준의 EEG 입력만으로도 충분히 일반화 능력을 보였으며, 눈동자 추적 캘리브레이션에 의존하지 않아 내면적 언어나 자연스러운 독서 시나리오에 더 잘 적용될 수 있도록 향상되었다.
• 제거 실험 결과, EEG 사전 훈련과 다중 시각 주의 모두가 핵심 구성 요소로 작용하며, 전체 성능 향상에 기여하는 데 기여했다.
• 모델는 동음이의어나 의미적으로 유사한 단어를 포함한 다양한 언어 패턴에서도 높은 성능를 유지하여 어려운 디코딩 상황에서의 강건성을 보였다.