[논문 리뷰] Constrained Variational Autoencoder for improving EEG based Speech Recognition Systems

Gautam Krishna, Co Tran외 2명|arXiv (Cornell University)|2020. 06. 01.

EEG and Brain-Computer Interfaces인용 수 4

한 줄 요약

이 논문은 원시 EEG 신호에서 의미 있는 저차원 EEG 표현을 학습하기 위해 순환 신경망 아키텍처를 갖춘 제약 조건이 부여된 변분 오토인코더(VAE)를 제안한다. 이는 EEG 기반 연속 및 고립된 음성 인식에서 크게 향상된 성능을 보이며, 어휘 크기가 증가할수록 이전 방법들을 능가함을 보여준다. 특히 제한된 어휘 데이터셋에서 연속 및 고립된 음성 작업 모두에서 뛰어난 성능을 발휘한다.

ABSTRACT

In this paper we introduce a recurrent neural network (RNN) based variational autoencoder (VAE) model with a new constrained loss function that can generate more meaningful electroencephalography (EEG) features from raw EEG features to improve the performance of EEG based speech recognition systems. We demonstrate that both continuous and isolated speech recognition systems trained and tested using EEG features generated from raw EEG features using our VAE model results in improved performance and we demonstrate our results for a limited English vocabulary consisting of 30 unique sentences for continuous speech recognition and for an English vocabulary consisting of 2 unique sentences for isolated speech recognition. We compare our method with another recently introduced method described by authors in [1] to improve the performance of EEG based continuous speech recognition systems and we demonstrate that our method outperforms their method as vocabulary size increases when trained and tested using the same data set. Even though we demonstrate results only for automatic speech recognition (ASR) experiments in this paper, the proposed VAE model with constrained loss function can be extended to a variety of other EEG based brain computer interface (BCI) applications.

연구 동기 및 목표

• 뇌-computer 인터페이스를 위한 음성 인식에서 노이즈가 많고 고차원적인 EEG 신호에 도전하기 위해.
• 딥 레이어드 표현 학습을 활용하여 EEG 기반 자동 음성 인식(ASR) 시스템의 성능을 향상시키기 위해.
• 기존 VAE보다 더 의미 있는 EEG 특징을 생성하는 제약 조건이 부여된 VAE를 개발하기 위해.
• 제안된 방법이 연속 및 고립된 음성 인식 작업 모두에서 효과적임을 입증하기 위해.
• 이 모델을 다른 EEG 기반 뇌-computer 인터페이스(BCI) 응용 분야로 널리 적용할 수 있도록 하기 위해.

제안 방법

• 원시 EEG 시계열에서 시간적 의존성을 모델링하기 위해 순환 신경망 기반의 변분 오토인코더(RNN-VAE)를 설계하였다.
• 잠재 공간을 정규화하기 위해 새로운 제약 조건이 부여된 손실 함수를 도입하였다. 이는 분리 가능하고 의미 있는 표현을 장려한다.
• 재표현 기법을 사용하여 원시 EEG 입력에 조건부로 잠재 변수의 사후 분포를 학습하였으며, 엔드 투 엔드 훈련을 가능하게 하였다.
• 구조적 인덕티브 바이어스를 손실 함수에 통합하여 학습된 특징의 분리 가능성과 일반화 능력을 향상시켰다.
• 하류의 ASR 작업에 적합한 컴act하고 분류 가능한 EEG 임베딩을 생성하기 위해 VAE를 피취닝하였다.
• 이 방법은 두 가지 ASR 벤치마크에서 평가되었으며, 하나는 30개의 연속 문장으로 구성되어 있고, 다른 하나는 2개의 고립된 문장으로 구성되어 있다.

실험 결과

연구 질문

• RQ1 제약 조건이 부여된 RNN 아키텍처를 갖춘 VAE는 기존 VAE보다 원시 EEG 신호에서 더 의미 있고 분리 가능한 표현을 학습할 수 있는가?
• RQ2 제안된 방법은 EEG 기반 연속 및 고립된 음성 인식 시스템의 인식 정확도를 향상시키는가?
• RQ3 기존 방법과 비교해 볼 때, 제안된 방법의 성능는 어휘 크기가 증가함에 따라 어떻게 변화하는가?
• RQ4 학습된 EEG 특징은 다양한 음성 인식 작업 간에 일반화 가능하며, 다른 BCI 응용 분야로 확장 가능한가?
• RQ5 제약 조건이 부여된 손실 함수는 학습된 잠재 표현의 품질과 분류 가능성에 어떤 영향을 미치는가?

주요 결과

• 제안된 제약 조건이 부여된 VAE는 EEG 신호를 사용한 연속 및 고립된 음성 인식 작업 모두에서 음성 인식 성능을 크게 향상시킨다.
• 최근 제안된 기준 방법 [1]과 비교해 볼 때, 특히 어휘 크기가 증가할수록 성능이 뛰어나다.
• 30개 문장의 어휘를 가진 연속 음성 인식의 경우, 모델은 기준 방법보다 더 높은 인식 정확도를 달성한다.
• 2개 문장의 어휘를 가진 고립된 음성 인식의 경우, 생성된 EEG 특징을 사용하여 모델은 견고한 성능을 보인다.
• 제약 조건이 부여된 손실 함수는 더 분리 가능하고 의미 있는 잠재 표현을 이끌어내어 하류의 ASR 성능을 향상시킨다.
• 모델의 아키텍처와 훈련 체계는 음성 인식을 넘어서 다른 EEG 기반 BCI 응용 분야로도 일반화 가능하다.