[論文レビュー] Towards Decoding Brain Activity During Passive Listening of Speech

Milán András Fodor, Tamás Gábor Csapó+1 more|arXiv (Cornell University)|Jan 1, 2024

Cognitive Science and Education Research被引用数 1

ひとこと要約

本研究は、受動的聴取中に頭蓋内EEG（iEEG）信号から聞き取った言語を復元するための深層学習モデルを用いて、音声合成向けの脳-コンピュータインターフェース（BCI）の発展を目的としている。データの同期やタスク設計の課題にもかかわらず、本研究では言語関連脳領域（例：上側顳回）に電極を配置することで復元性能が向上することを示しており、被験者13の検証MSEが0.805、被験者55が0.878であった。これは、受動的言語認識の復元の可能性を示している。

ABSTRACT

The aim of the study is to investigate the complex mechanisms of speech perception and ultimately decode the electrical changes in the brain accruing while listening to speech. We attempt to decode heard speech from intracranial electroencephalographic (iEEG) data using deep learning methods. The goal is to aid the advancement of brain-computer interface (BCI) technology for speech synthesis, and, hopefully, to provide an additional perspective on the cognitive processes of speech perception. This approach diverges from the conventional focus on speech production and instead chooses to investigate neural representations of perceived speech. This angle opened up a complex perspective, potentially allowing us to study more sophisticated neural patterns. Leveraging the power of deep learning models, the research aimed to establish a connection between these intricate neural activities and the corresponding speech sounds. Despite the approach not having achieved a breakthrough yet, the research sheds light on the potential of decoding neural activity during speech perception. Our current efforts can serve as a foundation, and we are optimistic about the potential of expanding and improving upon this work to move closer towards more advanced BCIs, better understanding of processes underlying perceived speech and its relation to spoken speech.

研究の動機と目的

• 受動的聴取中の頭蓋内EEG（iEEG）信号から聞いた言語の神経表現を復元すること。言語生成から言語認識へ焦点を移す。
• 聞き取った言語の神経活動から音声合成を可能にする脳-コンピュータインターフェース（BCI）技術の発展。
• 複雑な神経パターンと対応する音声の間の関係を結びつけることで、言語認識の認知的メカニズムを解明すること。
• 受動的聴取パラダイムを用いたより自然な、コミュニケーション指向のBCIの基盤を構築すること。
• ウェルニッケ領域、ブローカ領域、上側顳回などの脳領域が、聞き取った言語の処理に果たす役割を調査すること。

提案手法

• iEEG信号を話された言語のスペクトログラムにマップするため、全結合DNN（FC-DNN）および畳み込みニューラルネットワーク（CNN）の深層学習モデルを用いた。
• 神経活動の時間的動的変化をモデル化するため、時系列畳み込み層を適用した。
• 信号品質の向上を目的として、iEEGデータをバンドパスフィルタリング（1–100 Hz）およびアーチファクト除去を用いて前処理した。
• 時間的ずれを是正するため、相互相関および時間ずれ補正技術を用いてiEEGと音声データを同期化した。
• 損失関数を平均二乗誤差（MSE）で最小化するように、エンドツーエンドでモデルを学習し、神経活動からスペクトログラムを予測した。
• 検証MSEを用いて、異なる電極配置を持つ被験者間での性能を比較し、保持されたテストデータ上で評価した。

実験結果

リサーチクエスチョン

• RQ1 深層学習モデルは、受動的聴取中のiEEG信号から音声のスペクトロテイマル特徴を復元できるか？
• RQ2 言語関連脳領域に配置された電極が、神経活動からの音声復元精度にどのように影響するか？
• RQ3 受動的聴取時の神経表現は、言語生成時のものとどの程度類似しているか？
• RQ4 運動野および聴覚関連脳領域は、iEEGからの聞き取った言語の復元にどのような役割を果たすか？
• RQ5 データ収集、前処理、モデルアーキテクチャの方法論的差異が、復元性能にどのように影響するか？

主な発見

• 言語処理に関連する領域に電極を配置した被験者13は、FC-DNNモデルを用いて検証MSEが0.805を達成し、相対的に高い復元性能を示した。
• 被験者55は、既知の言語処理領域（例：上側顳回）に近い位置に電極を配置しており、他の被験者と比較して復元精度が向上し、CNNモデルを用いて検証MSEが0.878であった。
• 本研究では、言語処理の中心的役割を果たす領域に電極を配置することで、復元性能が顕著に向上することを確認した。これは、これらの領域が聞き取った言語の神経表現に寄与していることを支持する。
• 課題は存在するが、受動的聴取時の神経活動には、音声のスペクトロテイマル特徴を再構築するのに十分な情報が含まれており、まだ明確な音声合成には至っていないが、その可能性を示している。
• 研究結果は、言語認識の運動理論や神経再利用理論と整合性を示しているが、本研究ではこれらのメカニズムに明確な証拠は得られなかった。
• iEEGと音声データ間の時間的ずれは依然として主な制限要因であり、モデル性能に影響を与え、より良い同期技術の開発が求められている。