[論文レビュー] Brain2Object: Printing Your Mind from Brain Signals with Spatial Correlation Embedding

Xiang Zhang, Lina Yao+4 more|arXiv (Cornell University)|Oct 4, 2018

EEG and Brain-Computer Interfaces参考文献 39被引用数 6

ひとこと要約

Brain2Objectは、マルチクラス共分散空間パターン（CSP）とグラフ埋め込み型CNNを統合した包括的フレームワークを用いて視覚誘発EEG信号をデコードし、個人が注視している対象物を認識するエンドツーエンドの脳-コンピュータインターフェースシステムを提示する。本システムはベンチマークデータセットで92.58%の正確性を達成し、ローカルデータセットでは75.23%を記録しており、EEG空間相関の動的グラフ表現を用いて、精神的イメージのリアルタイム3Dプリントを可能にする。

ABSTRACT

Electroencephalography (EEG) signals are known to manifest differential patterns when individuals visually concentrate on different objects. In this work, we present an end-to-end digital fabrication system, Brain2Object, to print the 3D object that an individual is observing by decoding visually-evoked brain signals. We propose a unified training framework that combines multi-class Common Spatial Pattern and Convolutional Neural Networks to support the backend computation. We learn the dynamical graph representations of brain signals to accurately capture the structural information among EEG channels. A user-friendly interface is developed as the system front end. Brain2Object presents a streamlined end-to-end workflow that can serve as a template for deeper integration of BCI technologies to assist with our routine activities. The proposed system is evaluated extensively using offline experiments and through an online demonstrator. The experimental results show that our approach can achieve the recognition accuracy of 92.58% on a benchmark dataset and 75.23% on a locally collected dataset. Moreover, our method consistently outperforms a wide range of baseline and state-of-the-art approaches. The proof-of-concept corroborates the practicality of our approach and illustrates the ease with which such a system could be deployed.

研究の動機と目的

• 視覚誘発脳信号を物理的対象物の3Dプリントに変換するリアルタイムでエンドツーエンドのシステムを開発すること。
• 非侵襲的EEGにおける低SNRと低い空間分解能の課題に対処し、EEGチャネル間の構造的空間相関を学習すること。
• 動的グラフ表現とディープラーニングを統合することで、特徴抽出を強化し、EEGベースの対象物認識の正確性を向上させること。
• デジタルファブリケーションなどの日常的応用に向けた実用的で使いやすいBCI技術の導入を可能とすること。

提案手法

• 異なる視覚的刺激間の分散比を最大化することで、生EEG信号からコンactでクラス判別可能な特徴を抽出するため、マルチクラス共分散空間パターン（CSP）を適用する。
• トレーニング中にEEG電極間の変化する空間相関を捉えるために、適応的隣接行列を学習する動的グラフ表現（DGR）を導入する。
• DGR埋め込みEEG表現をカスタム畳み込みニューラルネットワーク（CNN）に供給し、階層的空間特徴を学習し、観察された対象物を分類する。
• ユーザーフレンドリーなインターフェースを介して、リアルタイムEEG取得、モデル推論、無線3Dプリンタ制御を統合し、シームレスなエンドツーエンド運用を実現する。
• 本フレームワークは、大規模な公開EEGデータセット（EEG-P）および定常状態視覚刺激を用いてローカルに収集したデータセットの両方でトレーニングおよび評価される。

実験結果

リサーチクエスチョン

• RQ1 CSPとグラフ埋め込み型CNNを統合した包括的ディープラーニングフレームワークは、対象物認識のための視覚誘発EEG信号を効果的にデコードできるか？
• RQ2 動的グラフ表現は、電極間の空間相関をモデル化することで、EEG信号分類性能をどの程度向上できるか？
• RQ3 オフライン評価と比較して、本システムはリアルタイムでオンライン環境下でどの程度の性能を示すか？
• RQ4 本システムは、実用的で使いやすい方法で精神的イメージを物理的3Dプリント対象物に信頼性高く変換できるか？

主な発見

• 提案されたBrain2Objectシステムは、ベンチマーク用EEG-Pデータセットで92.58%の認識正確性を達成し、複数の最先端ベースラインを顕著に上回った。
• 定常視覚刺激を用いてローカルに収集したデータセットでは、75.23%の分類正確性を達成し、実世界の条件下でも堅牢性を示した。
• DGRとCNNの統合により、両データセットにおいて静的グラフおよび非グラフベースラインと比較して一貫した性能向上が得られた。
• オンラインデモンストレーションの結果、ユーザーの精神状態の変動、電極のコンダクタンスのばらつき、ヘッドセットの位置ずれが主な要因となって、オフライン評価より低い性能が観察された。
• システムのレイテンシはリアルタイム応用に耐える水準であり、信号可視化により、EEGチャネル全体で判別性の高い神経パターンをモデルが捉えていることが確認された。