[논문 리뷰] EEG based Continuous Speech Recognition using Transformers

Gautam Krishna, Co Tran외 2명|arXiv (Cornell University)|2019. 12. 31.

EEG and Brain-Computer Interfaces참고 문헌 16인용 수 4

한 줄 요약

이 논문은 트랜스포머 아키텍처를 사용한 엔드 투 엔드 EEG 기반 연속 음성 인식을 조사하며, 소규모 어휘집(예: 5개의 고유 문장)에서 RNN 기반 모델보다 빠른 훈련 속도와 더 나은 성능을 보이며, 어휘집 크기가 커질수록 RNN-CTC 모델이 트랜스포머를 능가함을 확인함. 이는 트랜스포머의 WER가 소규모 테스트를 초월해 상당히 증가함을 의미함.

ABSTRACT

In this paper we investigate continuous speech recognition using electroencephalography (EEG) features using recently introduced end-to-end transformer based automatic speech recognition (ASR) model. Our results demonstrate that transformer based model demonstrate faster training compared to recurrent neural network (RNN) based sequence-to-sequence EEG models and better performance during inference time for smaller test set vocabulary but as we increase the vocabulary size, the performance of the RNN based models were better than transformer based model on a limited English vocabulary.

연구 동기 및 목표

• 트랜스포머 기반 모델을 사용하여 엔드 투 엔드 EEG에서 텍스트로의 연속 음성 인식의 가능성 탐색.
• 훈련 속도, 추론 성능, 어휘집 크가 증가함에 따른 내성성 측면에서 트랜스포머 기반 모델과 기존의 RNN-CTC 모델을 비교.
• 특히 EEG 입력과 예측 텍스트 간의 정렬을 고려할 때, EEG 기반 시퀀스 모델링에서 어텐션 메커니즘의 해석 가능성 평가.
• 특히 EEG 신호의 복잡성과 노이즈를 감안할 때, 데이터 크기와 모델 용량이 성능에 미치는 영향 평가.

제안 방법

• 연구는 인코더와 디코더 각각에 8개의 스택된 레이어를 포함한 표준 트랜스포머 인코더-디코더 아키텍처를 사용하며, 각 레이어는 다중 헤드 자기주의, 피드포워드 서브레이어, 잔차 연결 및 레이어 정규화를 포함함.
• 시퀀스 순서를 유지하기 위해 사인 및 코시 함수를 사용한 위치 인코딩을 적용함. d_model = 256, d_ff = 1024, d_k = d_v = 8, h = 32 어텐션 헤드.
• 인코더와 디코더 간에 임베딩 가중치를 공유하며, 소프트맥스 활성화 함수를 사용한 밀집층을 통해 각 타임스텝마다 한 단어씩 예측함.
• 훈련은 Adam 옵timizer를 사용해 120 에포크 동안 수행되며 배치 크기는 100, 손실 함수는 교차 엔트로피 손실을 사용함.
• 추론은 4-그램 언어 모델(얕은 융합)을 사용한 빔 서치를 적용하며, 종료 시퀀스 토큰에서 생성을 중단함.
• 모델은 이전 연구에서의 두 개의 EEG 데이터셋(A 및 B)을 사용해 평가되며, 다양한 테스트 세트 크기에서 단어 수준의 WER를 주요 평가 지표로 사용함.

실험 결과

연구 질문

• RQ1 소규모 어휘집 테스트 세트에서 트랜스포머 아키텍처가 EEG 기반 연속 음성 인식에서 RNN-CTC 모델을 능가하는가?
• RQ2 어휘집 크기가 증가함에 따라 모델 성능, 특히 WER는 어떻게 변화하는가?
• RQ3 복잡하고 노이즈가 많은 EEG 신호를 고려할 때, 트랜스포머의 어텐션 메커니즘을 의미적으로 해석할 수 있는가?
• RQ4 EEG 데이터에서 트랜스포머 모델이 RNN-CTC 모델보다 더 빠른 훈련 및 추론 시간을 제공하는가?
• RQ5 개선된 데이터 스케일링이 더 큰 어휘집에서 트랜스포머의 성능 저하를 완화시킬 수 있는가?

주요 결과

• 5개의 고유 문장만 포함된 테스트 세트에서는 트랜스포머 모델이 데이터셋 A에서 WER 67.7%, 데이터셋 B에서 WER 62.5%를 기록하며 RNN-CTC 모델을 능가함.
• 어휘집 크기가 30개의 고유 문장으로 증가함에 따라 트랜스포머의 WER는 데이터셋 A에서 93.95%, 데이터셋 B에서 96.8%로 상당한 성능 저하를 보임.
• 논문 [12]의 RNN-CTC 모델은 더 큰 테스트 세트에서 일관되게 트랜스포머 모델을 능가하며, 테스트된 모든 어휘집 크기에서 더 낮은 WER 기록.
• 데이터셋 A에서 트랜스포머 모델은 RNN-CTC 모델 대비 1개 예측당 2.4배 더 빠른 훈련 속도(0.017 vs. 0.041분)를 기록함.
• 비록 훈련 속도가 더 빠르지만, 트랜스포머 모델은 더 큰 모델 크기로 인해 추론 시간이 더 오래 걸림(1개 예측당 0.016분), RNN-CTC 모델보다 더 오래 걸림(0.0015분).
• EEG 입력에 대한 어텐션 시각화 결과는 이해하기 어려웠으며, 어텐션 가중치와 의미 있는 언어적 또는 신경 기능 간의 명확한 정렬이 없었음.