[논문 리뷰] Towards Ultrasound Tongue Image prediction from EEG during speech production

Tamás Gábor Csapó, Frigyes Viktor Arthur외 2명|arXiv (Cornell University)|2023. 05. 22.

Ultrasound Imaging and ElastographyMedicine인용 수 3

한 줄 요약

이 연구는 말을 할 때 비침습적 뇌전도(EEG) 신호로부터 초음파 혀 이미지를 예측하기 위한 딥러닝 접근법을 제안한다. 전체 연결형 딥 네ural 네트워크를 사용하여 결과적으로 EEG-UTI 간의 약한 그러나 뚜렷한 관계를 확인하였으며, 모델은 발성된 말과 중성 혀 자세를 구분할 수 있었다. 이는 향후 발성 기반 뇌-컴퓨터 인터페이스에서 예술적 피드백을 활용할 수 있음을 시사한다.

ABSTRACT

Previous initial research has already been carried out to propose speech-based BCI using brain signals (e.g. non-invasive EEG and invasive sEEG / ECoG), but there is a lack of combined methods that investigate non-invasive brain, articulation, and speech signals together and analyze the cognitive processes in the brain, the kinematics of the articulatory movement and the resulting speech signal. In this paper, we describe our multimodal (electroencephalography, ultrasound tongue imaging, and speech) analysis and synthesis experiments, as a feasibility study. We extend the analysis of brain signals recorded during speech production with ultrasound-based articulation data. From the brain signal measured with EEG, we predict ultrasound images of the tongue with a fully connected deep neural network. The results show that there is a weak but noticeable relationship between EEG and ultrasound tongue images, i.e. the network can differentiate articulated speech and neutral tongue position.

연구 동기 및 목표

• 말을 할 때 비침습적 EEG 신호로부터 초음파 혀 이미지(UTI)를 예측할 수 있는지 탐색하는 것.
• EEG, 말, 실시간 초음파 혀 영상의 다중모달 데이터를 통합 분석 프레임워크에 통합하는 것.
• 초음파를 통해 직접 측정한 발성 운동학이 간접 추정 방법에 비해 EEG 기반 말 해독 성능을 향상시킬 수 있는지 탐색하는 것.
• 비침습적 EEG와 실시간 예술적 피드백을 활용한 향후 말 신경보철의 기초를 마련하는 것.

제안 방법

• 시간적 정렬을 보장하기 위해 하드웨어 동기화를 사용하여 EEG, 말, 초음파 혀 영상의 동기화된 기록을 확보하였다.
• 80차원의 EEG 특징을 2차원 초음파 혀 이미지로 매핑하기 위해 전결합형 딥 네ural 네트워크(FC-DNN)를 학습시켰다.
• EEG 데이터는 사전 처리되어 FC-DNN 입력용 80차원 특징으로 압축되었다.
• 동기화된 EEG-UTI 쌍을 기반으로 평균 제곱오차(MSE) 손실을 사용하여 네트워크를 엔드 투 엔드로 학습시켰다.
• 학습, 검증, 테스트 세트에서 MSE를 사용하여 모델 성능을 평가하였으며, 예측된 UTI 시퀀스의 정성적 시각적 점검도 수행하였다.
• 재현 가능성과 향후 개발을 위해 DNN 모델의 공개 Keras 구현을 제공하였다.

Figure 1: Example for synchronized EEG, speech, and ultrasound tongue imaging recordings. a) EEG / 1st channel, b) speech signal, c) speech spectrogram, d) ultrasound synchronization signal and speech signal (EEG on AUX), e) temporal change of the center line of UTIs.

실험 결과

연구 질문

• RQ1 말을 할 때 EEG 신호와 초음파 혀 이미지 간에 검출 가능한 관계가 존재하는가?
• RQ2 딥 네ural 네트워크가 비침습적 EEG 입력으로부터 UTI 시퀀스를 예측할 수 있는가?
• RQ3 모델은 말 중 활성 발성과 중성 혀 자세를 얼마나 잘 구분할 수 있는가?
• RQ4 실시간 초음파 데이터의 포함이 간접적인 발성 추정 방법에 비해 EEG 기반 말 해독의 해석 가능성 또는 성능을 향상시키는가?
• RQ5 미래의 비침습적 말 기반 뇌-컴퓨터 인터페이스에서 직접적인 예술적 피드백의 잠재력은 어떠한가?

주요 결과

• FC-DNN는 테스트 세트에서 평균 제곱오차(MSE)가 0.0055를 기록하여 측정 가능한 그러나 제한된 예측 정확도를 보였다.
• 시각적 점검 결과, 모델은 음성 활성 검출과 유사하게 발성된 말과 중성 혀 자세를 구분할 수 있었다.
• 낮은 MSE 값에도 불구하고 예측된 UTI 시퀀스는 원본 이미지와는 제한적인 시각적 유사성을 보였으며, 이는 EEG-UTI 간의 약한 그러나 비랜덤한 상관관계를 시사한다.
• 결과적으로 EEG와 초음파 혀 이미지 간에 약한 그러나 뚜렷한 관계가 존재하며, EEG에서 UTI로의 예측 가능성이 있음을 입증하였다.
• 이 연구는 비침습적 기록에서도 직접적인 초음파 기반 예술적 데이터가 EEG 기반 말 해독을 향상시키는 데 사용될 수 있음을 확인하였다.
• 저자들은 향후 EEG에서 UTI 합성 연구를 지원하기 위해 모델의 공개 Keras 구현을 제공하였다.

Figure 2: Recording setup: EEG, ultrasound tongue imaging with a headset, microphone and webcam.