[論文レビュー] Voice of Your Brain: Cognitive Representations of Imagined Speech,Overt Speech, and Speech Perception Based on EEG

Seo‐Hyun Lee, Young Eun Lee+1 more|arXiv (Cornell University)|May 31, 2021

EEG and Brain-Computer Interfaces参考文献 21被引用数 4

ひとこと要約

本研究では、9名の被験者を対象に、想起された会話と明示的な会話が、個々の被験者に特有のEEGパターンを生じることを示した。これにより、1チャネルEEGと、時間的・周波数的・空間的特徴を捉える深層ニューラルネットワークを用いた、信頼性の高い発話者同定が可能である。結果から、特に想起された会話は、T7電極で顕著な被験者特有の神経的サインを示しており、個人識別に向けた安全で1チャネルの脳-コンピュータインターフェースへの実用的応用を支持する。

ABSTRACT

Every people has their own voice, likewise, brain signals dis-play distinct neural representations for each individual. Al-though recent studies have revealed the robustness of speech-related paradigms for efficient brain-computer interface, the dis-tinction on their cognitive representations with practical usabil-ity still remains to be discovered. Herein, we investigate the dis-tinct brain patterns from electroencephalography (EEG) duringimagined speech, overt speech, and speech perception in termsof subject variations with its practical use of speaker identifica-tion from single channel EEG. We performed classification ofnine subjects using deep neural network that captures temporal-spectral-spatial features from EEG of imagined speech, overtspeech, and speech perception. Furthermore, we demonstratedthe underlying neural features of individual subjects while per-forming imagined speech by comparing the functional connec-tivity and the EEG envelope features. Our results demonstratethe possibility of subject identification from single channel EEGof imagined speech and overt speech. Also, the comparison ofthe three speech-related paradigms will provide valuable infor-mation for the practical use of speech-related brain signals inthe further studies.

研究の動機と目的

• 想像的会話、明示的会話、会話認識時のEEG信号が被験者固有の神経表現を含むかどうかを調査すること。
• 実用的BCI応用における1チャネルEEGを用いた発話者同定の実現可能性を評価すること。
• 想像的会話、明示的会話、会話認識の間で、機能的結合とEEGエンVELOPの神経的パターンを比較し、個々の差異を特定すること。
• 実用性と性能を考慮して、発話者同定に最適なEEGチャネルを特定すること。

提案手法

• 9名の被験者から、想像的会話、明示的会話、会話認識、安静状態の4条件を対象にEEGデータを収集し、各条件で300試行ずつ実施した。
• 信号は、5次バターワースフィルタ（30–120 Hz）を用い、試行開始前の500 ms間でベースライン補正を実施した。
• 1チャネルEEGから時間的・周波数的・空間的特徴を抽出できるように設計された深層ニューラルネットワークアーキテクチャを構築し、発話者識別をエンドツーエンドで分類可能とした。
• 機能的結合は、Brocaの領域およびWernickeの領域における位相遅れ指数（PLV）を用いて分析し、想像的会話と安静状態の神経ネットワークダイナミクスを比較した。
• EEGエンVELOP特徴を計算し、被験者間で平均化して、想像的会話時の各個人に固有の時間的パターンを特定した。
• 分類性能は正答率を用いて評価し、神経表現のクラス間分離性を評価するためにt-SNE可視化を実施した。

実験結果

リサーチクエスチョン

• RQ1 想像的会話、明示的会話、会話認識時の1チャネルEEGから、個々の発話者が信頼性を持って同定可能か？
• RQ2 想像的会話の神経表現は、明示的会話および会話認識と比較して、被験者固有性の観点でどのように異なるか？
• RQ3 1チャネル設定において、発話者同定に最も高い性能を示すEEGチャネルはどれか？
• RQ4 想像的会話時の言語関連脳領域（Brocaの領域およびWernickeの領域）における機能的結合パターンは、被験者間で顕著に異なるか？
• RQ5 想像的会話時のEEGエンVELOPダイナミクスは、どの程度個々の発話特性を反映しているか？

主な発見

• T7電極は、他のチャネルと比較して顕著に優れた発話者同定正答率（p < 0.001、χ² = 32.51）を示し、実用的耳EEGデバイスへの強い可能性を示唆した。
• 想像的会話と明示的会話は、会話認識や安静状態と比較して、より明確で被験者固有の神経パターンを示しており、t-SNE可視化および正答率の両面で確認された。
• 被験者3は、機能的結合およびEEGエンVELOP両方において、最も顕著な神経的サインを示し、これが最高の分類性能と相関した。
• 大多数の被験者では、想像的会話時にBrocaの領域における機能的結合が低下したが、被験者3では増加したため、神経活性化パターンの個体差が示された。
• 各被験者のEEGエンVELOPは、500–1500 msの間に独自のピークパターンを示し、被験者3は高識別性と一致する放射状のパターンを示した。
• 会話認識の同定正答率はやや高く（56.26 ± 1.87%）、安静状態（53.87 ± 3.49%）を上回ったが、単一セッションのデータ制限により性能が限定的であった。