[논문 리뷰] Synthesizing Speech from Intracranial Depth Electrodes using an Encoder-Decoder Framework

Christian Herff|arXiv (Cornell University)|2021. 10. 20.

Speech and Audio Processing참고 문헌 35인용 수 7

한 줄 요약

이 연구는 깊이 전기자극 전극(sEEG)을 사용하여 고품질의 음성 합성을 구현하는 것을 보여주며, 딥 러닝 인코더-디코더 프레임워크를 통해 희소하고 피뢰질 부위의 샘플링 및 제한된 훈련 데이터에도 불구하고 안정적인 오디오 재구성을 달성한다. 변동형 특징 드롭아웃은 가장 정보가 많은 전극 접점들을 식별하여 모델의 해석 가능성과 성능을 향상시킨다.

ABSTRACT

Speech Neuroprostheses have the potential to enable communication for people with dysarthria or anarthria. Recent advances have demonstrated high-quality text decoding and speech synthesis from electrocorticographic grids placed on the cortical surface. Here, we investigate a less invasive measurement modality, namely stereotactic EEG (sEEG) that provides sparse sampling from multiple brain regions, including subcortical regions. To evaluate whether sEEG can also be used to synthesize high-quality audio from neural recordings, we employ a recurrent encoder-decoder framework based on modern deep learning methods. We demonstrate that high-quality speech can be reconstructed from these minimally invasive recordings, despite a limited amount of training data. Finally, we utilize variational feature dropout to successfully identify the most informative electrode contacts.

연구 동기 및 목표

• 스테레오타틱 뇌전도도법(sEEG)이 희소하고 피뢰질 부위의 전극 샘플링을 가지는 최소 침습적 방법임에도 불구하고 고품질의 음성 합성을 지원할 수 있는지 조사한다.
• 제한된 sEEG 데이터로부터 자연스러운 음성으로 재구성할 수 있는 딥 러닝 프레임워크를 개발하고 평가한다.
• 변동형 특징 드롭아웃을 사용하여 음성 복원에 가장 기여하는 전극 접점을 규명한다.
• 표면 뇌전도도법을 사용할 수 없는 심한 운동 기능 장애가 있는 환자를 위한 음성 신경보조기기를 발전시킨다.

제안 방법

• 재귀형 인코더-디코더 신경망 아키텍처를 사용하여 sEEG 전극 신호를 원시 오디오 웨이브폼으로 매핑한다.
• 인코더는 깊이 전극에서 기록된 신경 신호의 시간적 시퀀스를 처리하여 고수준의 음성 관련 특징을 추출한다.
• 디코더는 어텐션 메커니즘을 사용하여 정렬을 보장하면서 인코딩된 표현에 조건부로 자동회귀적 오디오 웨이브폼을 생성한다.
• 훈련 중에 변동형 특징 드롭아웃을 적용하여 재구성 성능에 기여하는 정도를 측정함으로써 가장 정보가 많은 전극 접점을 식별한다.
• 모델 훈련은 환자별로 제한된 신경 데이터를 사용하여 데이터 효율성을 강조한다.

실험 결과

연구 질문

• RQ1 희소하고 피뢰질 부위의 샘플링을 가지는 sEEG 기록에서도 고품질의 음성이 합성될 수 있는가?
• RQ2 제한된 sEEG 데이터로부터 자연스러운 음성을 재구성하는 데에 깊이 있는 인코더-디코더 프레임워크는 얼마나 효과적인가?
• RQ3 어느 전극 접점들이 음성 재구성에 가장 크게 기여하는가, 그리고 이를 신뢰성 있게 식별할 수 있는가?
• RQ4 변동형 특징 드롭아웃은 낮은 데이터 sEEG 환경에서 모델의 해석 가능성과 성능을 향상시킬 수 있는가?

주요 결과

• 제안된 딥 러닝 프레임워크를 사용하여 sEEG 기록에서 고음질의 음성 웨이브폼을 성공적으로 재구성하였다.
• 모델는 제한된 훈련 데이터에도 불구하고 희소한 신경 입력에서 강력한 일반화 능력을 보이며 안정적인 음성 합성을 달성하였다.
• 변동형 특징 드롭아웃은 가장 정보가 많은 전극 접점을 효과적으로 식별하여 모델의 해석 가능성과 성능을 향상시켰다.
• 결과적으로 sEEG가 최소 침습적 성격과 피뢰질 부위의 샘플링을 가지더라도 고품질의 음성 신경보조기기를 지원할 수 있음을 확인하였다.