[논문 리뷰] Open Vocabulary Electroencephalography-To-Text Decoding and Zero-shot Sentiment Classification

Zhenhailong Wang, Heng Ji|arXiv (Cornell University)|2021. 12. 05.

EEG and Brain-Computer Interfaces인용 수 4

한 줄 요약

이 논문은 비침습적 뇌파 신호에서 전체 영어 문장을 복원하기 위해 미세조정된 사전학습된 언어 모델(예: BART)을 사용하는 새로운 오픈 뷰포트리지 EEG-to-text 복원 프레임워크를 제안한다. 이는 40.1%의 BLEU-1 점수를 기록했으며, 레이블이 없는 감성 분류 작업에서도 55.6%의 F1 점수를 달성하여, 지도 학습 기반 기준 모델들을 크게 능가하고, 다양한 피실험자와 데이터 소스 간의 일반화 능력을 입증한다.

ABSTRACT

State-of-the-art brain-to-text systems have achieved great success in decoding language directly from brain signals using neural networks. However, current approaches are limited to small closed vocabularies which are far from enough for natural communication. In addition, most of the high-performing approaches require data from invasive devices (e.g., ECoG). In this paper, we extend the problem to open vocabulary Electroencephalography(EEG)-To-Text Sequence-To-Sequence decoding and zero-shot sentence sentiment classification on natural reading tasks. We hypothesis that the human brain functions as a special text encoder and propose a novel framework leveraging pre-trained language models (e.g., BART). Our model achieves a 40.1% BLEU-1 score on EEG-To-Text decoding and a 55.6% F1 score on zero-shot EEG-based ternary sentiment classification, which significantly outperforms supervised baselines. Furthermore, we show that our proposed model can handle data from various subjects and sources, showing great potential for a high-performance open vocabulary brain-to-text system once sufficient data is available

연구 동기 및 목표

• 비침습적 EEG 신호에서 오픈 뷰포트리지 복원을 가능하게 하여, 기존의 닫힌 뷰포트리지 뇌-텍스트 시스템의 한계를 해결하기 위해.
• 사전학습된 언어 모델이 뇌 신호 복원에 효과적인 텍스트 인코더로 기능할 수 있는지 탐색하며, 그들의 문맥적 및 의미적 표현을 활용하기 위해.
• 레이블이 없는 감성 데이터가 전혀 없는 조건에서 EEG 특징만을 사용하여 제로샷 감성 분류를 수행하기 위해.
• 다양한 피실험자와 EEG 데이터 소스 간의 일반화 능력을 향상시켜 실생활 뇌-기계 인터페이스(BMI) 응용 분야의 확장성을 높이기 위해.
• 저자료, 고변동성이 있는 뇌 신호 복원 환경에서 사전학습된 모델의 전이 학습 잠재력을 입증하기 위해.

제안 방법

• EEG 특징을 문맥화된 의미 공간으로 매핑하기 위해, 다층 트랜스포머 인코더(MTE)와 함께 사전학습된 BART 모델을 디코더로 미세조정한다.
• EEG로 인코딩된 표현과 참조 텍스트 시퀀스 간의 정렬을 위해 순차적-순차적 학습 기반의 공동 학습 목표를 사용한다.
• 제한된 EEG-텍스트 쌍 데이터를 보완하기 위해, BART의 풍부한 언어적 인덕티브 바이어스(구문, 의미, 장거리 의존성 모델링 기능 포함)를 활용한다.
• 동일한 미세조정된 모델을 사용하여, 복원된 텍스트 출력을 바탕으로 긍정, 부정, 중립 감성으로 분류함으로써 제로샷 감성 분류를 수행한다.
• 전체 영어 어휘를 커버할 수 있도록 50,265개 토큰을 가진 대규모 오픈 뷰포트리지 BART 토크나이저를 활용한다.
• 자연어 독서 작업에서 확득한 비침습적 EEG 기록을 포함한 다양한 피실험자와 데이터 소스의 EEG 데이터를 기반으로 학습 및 평가를 수행한다.

실험 결과

연구 질문

• RQ1 BART와 같은 사전학습된 언어 모델이 비침습적 EEG 신호에서 오픈 뷰포트리지 텍스트를 효과적으로 복원할 수 있는가?
• RQ2 제안된 프레임워크는 미세조정 없이도 다양한 피실험자와 EEG 데이터 소스 간에 일반화되는가?
• RQ3 레이블이 없는 감성 데이터가 전혀 없는 조건에서 EEG 입력만으로 제로샷 문장 수준의 감성 분류를 수행할 수 있는가?
• RQ4 다층 트랜스포머 인코더(MTE)와 사전학습된 언어 모델 가중치의 통합이 복원 성능에 어떤 영향을 미치는가?
• RQ5 학습 데이터에 존재하지 않는 새로운 단어나 문장에 대해 모델의 일반화 능력은 어느 정도인가?

주요 결과

• 제안된 프레임워크는 오픈 뷰포트리지 EEG-to-text 복원에서 40.1%의 BLEU-1 점수를 기록하여, 지도 학습 기반 기준 모델들을 크게 능가한다.
• 제로샷 EEG 기반 삼분류 감성 분류에서 55.6%의 F1 점수를 달성하여 강력한 제로샷 일반화 능력을 입증한다.
• 제거 실험 결과, 사전학습된 BART 가중치와 다층 트랜스포머 인코더(MTE) 모두 필수적임을 확인하였으며, 둘 중 하나를 제거할 경우 성능이 크게 저하됨을 확인하였다.
• 다양한 피실험자와 EEG 데이터 소스 간에 효과적으로 일반화되어, 개인 간 및 데이터 소스 간 변동성에 대한 높은 강건성을 보였다.
• 학습 어휘에 포함되지 않은 의미적으로 관련된 단어들까지도 성공적으로 복원하여, 닫힌 뷰포트리지 제약을 초월한 일반화 능력을 입증하였다.
• 결과적으로, 사전학습된 언어 모델이 저자료, 고변동성이 있는 뇌 신호 복원 작업에 강력한 인덕티브 바이어스 역할을 할 수 있음을 시사한다.