[論文レビュー] Synthesizing Speech from Intracranial Depth Electrodes using an Encoder-Decoder Framework

Christian Herff|arXiv (Cornell University)|Oct 20, 2021

Speech and Audio Processing参考文献 35被引用数 7

ひとこと要約

本研究では、深部脳電図（sEEG）の電極を用いた深層学習エンコーダ・デコーダフレームワークにより、高品質な音声合成を実現した。限られた訓練データと、疎な皮質下のサンプリングという条件下でも、音声再構成が安定して達成された。変動的特徴ドロップアウトにより、最も情報の多い電極接触部が特定され、モデルの解釈可能性と性能が向上した。

ABSTRACT

Speech Neuroprostheses have the potential to enable communication for people with dysarthria or anarthria. Recent advances have demonstrated high-quality text decoding and speech synthesis from electrocorticographic grids placed on the cortical surface. Here, we investigate a less invasive measurement modality, namely stereotactic EEG (sEEG) that provides sparse sampling from multiple brain regions, including subcortical regions. To evaluate whether sEEG can also be used to synthesize high-quality audio from neural recordings, we employ a recurrent encoder-decoder framework based on modern deep learning methods. We demonstrate that high-quality speech can be reconstructed from these minimally invasive recordings, despite a limited amount of training data. Finally, we utilize variational feature dropout to successfully identify the most informative electrode contacts.

研究の動機と目的

• 立体的脳電図（sEEG）—疎で皮質下の電極サンプリングを特徴とする最小侵襲的手法—が、高品質な音声合成を可能にするかを調査すること。
• 限られたsEEGデータからの自然な音声を再構成できる深層学習フレームワークの開発と評価。
• 変動的特徴ドロップアウトを用いて、音声復元に最も寄与する電極接触部を同定すること。
• 表面EEGを使用できない重度の運動障害を有する人々のための音声神経補装技術の前進。

提案手法

• 再帰的エンコーダ・デコーダニューラルネットワークアーキテクチャを用い、sEEG電極信号を生の音声波形にマッピングする。
• エンコーダは、深部電極からの神経記録の時系列系列を処理し、高レベルの音声関連特徴を抽出する。
• デコーダは、アテンションメカニズムを用いてアライメントを確保しながら、符号化された表現を条件として自己回帰的音声波形を生成する。
• 訓練中に変動的特徴ドロップアウトを適用し、再構成性能への寄与度を測定することで、最も情報の多い電極接触部を同定する。
• 患者固有の神経データ量が限られているため、データ効率を重視してモデル訓練を実施する。

実験結果

リサーチクエスチョン

• RQ1 疎で皮質下のサンプリングを伴うsEEG記録から、高品質な音声を合成できるか？
• RQ2 限られたsEEGデータからの自然な音声再構成において、深層エンコーダ・デコーダフレームワークの有効性はいかほどか？
• RQ3 どの電極接触部が音声再構成に最も顕著に寄与しているか？ そして、その同定は信頼性を持って可能か？
• RQ4 変動的特徴ドロップアウトは、限られたデータのsEEG環境下で、モデルの解釈可能性と性能を向上させられるか？

主な発見

• 提案された深層学習フレームワークを用いて、sEEG記録から高精細な音声波形が成功裏に再構成された。
• 限られた訓練データでも、疎な神経入力からの強力な一般化能力を示し、安定した音声合成が達成された。
• 変動的特徴ドロップアウトにより、最も情報の多い電極接触部が効果的に同定され、モデルの解釈可能性と性能が向上した。
• sEEGが最小侵襲的であり、皮質下のサンプリングを伴っても、高品質な音声神経補装技術を支えることが、本研究で確認された。