[논문 리뷰] Improving EEG based Continuous Speech Recognition

Gautam Krishna, Co Tran외 3명|arXiv (Cornell University)|2019. 11. 24.

Speech Recognition and Synthesis참고 문헌 15인용 수 10

한 줄 요약

이 논문은 EEG 기반 연속 음성 인식 성능을 향상시키기 위해, 음성 및 발성 특징을 EEG에서 예측하는 사전 훈련된 모델로 GRU 인코더 가중치를 초기화하고, 비어드 서치 동안 외부 언어 모델을 통합하며, 낮은 오차로 발성 특징을 예측하는 기법을 제안한다. 이러한 기법들은 더 큰 어휘에서 단어 오류율(WER)을 84.9%에서 74.45%로 현저히 감소시켜 보조 기술 응용 분야의 강인성을 향상시킨다.

ABSTRACT

In this paper we introduce various techniques to improve the performance of electroencephalography (EEG) features based continuous speech recognition (CSR) systems. A connectionist temporal classification (CTC) based automatic speech recognition (ASR) system was implemented for performing recognition. We introduce techniques to initialize the weights of the recurrent layers in the encoder of the CTC model with more meaningful weights rather than with random weights and we make use of an external language model to improve the beam search during decoding time. We finally study the problem of predicting articulatory features from EEG features in this paper.

연구 동기 및 목표

• 특히 언어 장애가 있는 개인에게서 성능이 제한된 EEG 기반 연속 음성 인식(CSR) 시스템의 문제를 해결한다.
• CTC 기반 ASR 모델의 순환 신경망(RNN) 인코더에서 무작위 가중치 초기화의 한계를 극복한다.
• 얕은 융합을 통해 외부 4-그램 언어 모델을 CTC 비어드 서치에 통합하여 디코딩의 강인성을 향상시킨다.
• 인코더의 표현 학습을 향상시키기 위해 EEG에서 발성 특징을 예측하는 데의 유용성을 탐색한다.
• 이전의 EEG-ASR 연구들보다 더 큰 영어 어휘에서 향상된 CSR 성능을 입증한다.

제안 방법

• 30D EEG 입력에서 MFCC(13D)와 발성 특징(6D)을 결합하여 예측하는 이중층 GRU 모델을 평균 제곱오차(MSE) 손실을 사용해 사전 훈련한다.
• CTC 인코더의 첫 두 GRU 레이어를 사전 훈련된 회귀 모델에서 학습된 가중치로 초기화하여 무작위 초기화 대신 사용한다.
• RNN 표현을 텍스트 토큰으로 매핑하기 위해 필터 수 32, 커널 크기 2, 잔차 스택 1개를 가진 시간적 convolutional network(TCN)을 사용한다.
• 120 에포크 동안 Adam 옵timizer를 사용하여 배치 크기 32, 드롭아웃(0.1)을 적용해 정규화하는 CTC 손실을 적용한다.
• 자기 수준 CTC 디코더를 사용하며, 외부 4-그램 언어 모델을 얕은 융합(shallow fusion) 방식으로 비어드 서치에 통합한다.
• 예측된 발성 특징과 진짜 발성 특징 간의 RMSE 및 정규화된 RMSE를 사용해 발성 특징 예측 성능을 평가한다.

실험 결과

연구 질문

• RQ1 CTC 기반 EEG-ASR 모델의 GRU 인코더 가중치를 사전 훈련된 회귀 모델로 초기화하는 것이 인식 정확도 향상에 기여하는가?
• RQ2 비어드 서치 디코딩 중 외부 언어 모델을 통합할 경우 EEG 기반 CSR에서 단어 오류율(WER)이 얼마나 감소하는가?
• RQ3 TCN 기반 아키텍처를 사용해 EEG 신호에서 발성 특징을 얼마나 정확하게 예측할 수 있는가?
• RQ4 전두엽 및 측두엽 센서에서의 EEG 특징을 결합하는 것이 한 지역만 사용할 경우보다 CSR 성능 향상에 기여하는가?
• RQ5 MFCC+발성 특징 → 텍스트 모델에서 사전 훈련된 GRU 레이어 쌍을 추가로 사용하면 더 큰 어휘에서 WER가 추가로 향상되는가?

주요 결과

• 사전 훈련된 GRU 가중치를 인코더에 사용함으로써, 180개의 테스트 문장과 1112개의 고유 단어를 포함한 데이터셋 B에서 WER가 84.9%에서 74.45%로 감소하였다.
• 비어드 서치 동안 외부 4-그램 언어 모델을 통합함으로써 디코딩 성능이 크게 향상되어, WER가 84.9%에서 74.45%로 감소하였다.
• 데이터셋 A에서는 평균 RMSE 0.632, 정규화된 RMSE 0.115를 기록했고, 데이터셋 B에서는 각각 1.30과 0.238를 기록하였다.
• 전두엽(85D)과 측두엽 센서의 EEG 특징을 결합한 경우 WER가 85.32%로 나타나, 전두엽(85.45%) 또는 측두엽(86.52%) 센서만 사용할 경우보다 略로 향상되었다.
• MFCC+발성 특징 → 텍스트 모델에서 사전 훈련된 GRU 레이어 쌍(128, 64 유닛)을 인코더에 고정된 상태로 추가함으로써, 데이터셋 A에서 15개의 고유 테스트 문장에 대해 WER가 78.39%로 감소하여 더 큰 어휘에서의 성능 향상이 미미하게 나타났다.
• 제안된 방법은 더 큰 어휘(180문장, 1112단어)에서 WER 74.45%를 기록하여, 유사 기준에서 이전의 EEG-ASR 시스템을 초월하는 성능을 보였다.