[論文レビュー] Towards Ultrasound Tongue Image prediction from EEG during speech production

Tamás Gábor Csapó, Frigyes Viktor Arthur+2 more|arXiv (Cornell University)|May 22, 2023

Ultrasound Imaging and ElastographyMedicine被引用数 3

ひとこと要約

本研究では、音声発話中の非侵襲的EEG信号から超音波舌像（UTI）を予測する深層学習手法を提案し、全結合型深層ニューラルネットワークを用いて実現している。結果として、EEG-UTI間に弱いが顕著な関係が確認され、モデルは発話時の発音行動と中性な舌位置を区別でき、将来的な発話ベースの脳-コンピュータインターフェースにおける構築可能性を示している。

ABSTRACT

Previous initial research has already been carried out to propose speech-based BCI using brain signals (e.g. non-invasive EEG and invasive sEEG / ECoG), but there is a lack of combined methods that investigate non-invasive brain, articulation, and speech signals together and analyze the cognitive processes in the brain, the kinematics of the articulatory movement and the resulting speech signal. In this paper, we describe our multimodal (electroencephalography, ultrasound tongue imaging, and speech) analysis and synthesis experiments, as a feasibility study. We extend the analysis of brain signals recorded during speech production with ultrasound-based articulation data. From the brain signal measured with EEG, we predict ultrasound images of the tongue with a fully connected deep neural network. The results show that there is a weak but noticeable relationship between EEG and ultrasound tongue images, i.e. the network can differentiate articulated speech and neutral tongue position.

研究の動機と目的

• 音声発話中の非侵襲的EEG信号から超音波舌像（UTI）を予測する可能性を検討すること。
• EEG、音声、リアルタイム超音波舌像画像のマルチモーダルデータを統合的分析フレームワークに統合すること。
• 直接的超音波測定による発音運動学が、間接的推定手法に比べ、EEGに基づく音声復元の性能向上に寄与するかどうかを検討すること。
• 非侵襲的EEGとリアルタイム発音フィードバックを用いた将来的な音声神経補装の基盤を構築すること。

提案手法

• 時間的整合性を保つためにハードウェア同期を用いて、EEG、音声、超音波舌像画像の同期記録を収集した。
• 80次元のEEG特徴量を2次元超音波舌像にマッピングするため、全結合型深層ニューラルネットワーク（FC-DNN）を訓練した。
• EEGデータは事前処理され、FC-DNNの入力として80次元の特徴量に低次元化された。
• 同期されたEEG-UTIペアを用いて、平均二乗誤差（MSE）損失でエンドツーエンドにネットワークを訓練した。
• モデルの性能は、訓練・検証・テストセットにおけるMSEを用いて評価され、予測されたUTIシーケンスの定性的な視覚的検証が行われた。
• 再現性および今後の開発を支援するため、DNNモデルの公開Keras実装を提供した。

Figure 1: Example for synchronized EEG, speech, and ultrasound tongue imaging recordings. a) EEG / 1st channel, b) speech signal, c) speech spectrogram, d) ultrasound synchronization signal and speech signal (EEG on AUX), e) temporal change of the center line of UTIs.

実験結果

リサーチクエスチョン

• RQ1 音声発話中にEEG信号と超音波舌像画像の間には検出可能な関係があるか？
• RQ2 深層ニューラルネットワークは、非侵襲的EEG入力からUTIシーケンスを学習して予測できるか？
• RQ3 モデルは、中性な舌位置と発話時の活性化発音をどれほど正確に区別できるか？
• RQ4 リアルタイム超音波データの導入により、間接的発音推定法と比較して、EEGに基づく音声復元の解釈可能性または性能が向上するか？
• RQ5 将来的な非侵襲的発話BCIにおいて、直接的発音フィードバックの可能性は何か？

主な発見

• FC-DNNはテストセットの平均二乗誤差（MSE）が0.0055に達し、測定可能ではあるが限られた予測精度であった。
• 視覚的検証により、モデルは声帯活動検出と同様に、発音行動と中性な舌位置を区別できることを示した。
• MSE値が低くても、予測されたUTIシーケンスは元の画像と限定的な視覚的類似性を示しており、EEG-UTI間の弱いが非ランダムな対応関係があることを示唆している。
• 結果として、EEGと超音波舌像画像の間に弱いが顕著な関係が存在することが確認され、EEGからUTIを予測する可能性が裏付けられた。
• 本研究では、非侵襲的記録であっても、直接的な超音波ベースの発音データがEEGに基づく音声復元を強化できることを確認した。
• 研究者は、今後のEEGからUTIを合成する研究を支援するため、モデルの公開Keras実装を提供した。

Figure 2: Recording setup: EEG, ultrasound tongue imaging with a headset, microphone and webcam.