[論文レビュー] Internet of Things Meets Brain-Computer Interface: A Unified Deep Learning Framework for Enabling Human-Thing Cognitive Interactivity

Xiang Zhang, Lina Yao+4 more|arXiv (Cornell University)|May 1, 2018

EEG and Brain-Computer Interfaces参考文献 17被引用数 11

ひとこと要約

本稿では、脳-コンピュータインターフェース（BCI）とインテอร์ネット・オブ・シングス（IoT）を統合する包括的なディープラーニングフレームワークを提案する。このフレームワークにより、リアルタイムで思考駆動型のスマートデバイス制御が可能となる。強化学習に基づく選択的注意メカニズム（SAM）と、修正された重み付き平均空間LSTM（WAS-LSTM）を採用することで、ノイズの多いEEG信号から顕著な特徴を自動的に抽出し、意図認識の高精度を達成する。実世界のヒューマン・スモーク・コグニティブ相互作用タスクにおいて、最先端のベースラインを上回る性能を示した。

ABSTRACT

A Brain-Computer Interface (BCI) acquires brain signals, analyzes and translates them into commands that are relayed to actuation devices for carrying out desired actions. With the widespread connectivity of everyday devices realized by the advent of the Internet of Things (IoT), BCI can empower individuals to directly control objects such as smart home appliances or assistive robots, directly via their thoughts. However, realization of this vision is faced with a number of challenges, most importantly being the issue of accurately interpreting the intent of the individual from the raw brain signals that are often of low fidelity and subject to noise. Moreover, pre-processing brain signals and the subsequent feature engineering are both time-consuming and highly reliant on human domain expertise. To address the aforementioned issues, in this paper, we propose a unified deep learning based framework that enables effective human-thing cognitive interactivity in order to bridge individuals and IoT objects. We design a reinforcement learning based Selective Attention Mechanism (SAM) to discover the distinctive features from the input brain signals. In addition, we propose a modified Long Short-Term Memory (LSTM) to distinguish the inter-dimensional information forwarded from the SAM. To evaluate the efficiency of the proposed framework, we conduct extensive real-world experiments and demonstrate that our model outperforms a number of competitive state-of-the-art baselines. Two practical real-time human-thing cognitive interaction applications are presented to validate the feasibility of our approach.

研究の動機と目的

• 非侵襲的BCIにおける信号の低信頼性と高ノイズという課題に取り組むこと。
• BCIシステムにおける時間のかかる、専門知識に依存する前処理および特徴工学の排除。
• 直接的な脳信号解釈により、人間とIoTデバイス間のエンドツーエンドでリアルタイムな認知的インタラクションを実現すること。
• EEGデータにおける時間的ダイナミクスとチャネル間依存関係を捉える、堅牢でスケーラブルなディープラーニングフレームワークの開発。
• 脳タイピングおよび認知的ロボット制御における実世界応用を通じて、フレームワークの有効性を検証すること。

提案手法

• 強化学習に基づく選択的注意メカニズム（SAM）を提案し、動的に情報量の多いEEG信号セグメントを特定・注目する。
• 空間的平均化を用いてEEGチャネル間の多次元的依存関係をモデル化する、修正されたLSTMネットワーク（WAS-LSTM）を導入。
• 個人に特化した事前学習済みディープラーニングモデルをクラウドサーバーにデプロイし、IoT接続デバイスから得られる生EEGストリームを処理。
• コンSENSUSメカニズムを採用：64個のEEGサンプル（0.5秒ごとに収集）から連続して3回一致する意図判断がなされた場合にのみ命令を発行。
• モードベースの意思決定統合を適用し、意図分類の信頼性を向上させ、誤検出を低減。
• 128 HzのサンプリングレートでEmotiv EPOC+ヘッドセットから得たEEGデータを用い、実世界のIoT環境にフレームワークをデプロイ。データは0.5秒ごとに処理。

実験結果

リサーチクエスチョン

• RQ1 手動による特徴工学を一切行わず、低信頼性でノイズの多いEEG信号を、IoTデバイスの実行可能な命令に効果的に変換できる包括的なディープラーニングフレームワークは、実現可能か？
• RQ2 強化学習に基づく注目メカニズムは、意図認識のための生EEGデータ内での顕著な時間的パターンをどの程度的確に特定できるか？
• RQ3 EEG信号分類の正確性に、チャネル間の空間的依存関係をモデル化することでどの程度向上が見られるか？
• RQ4 提案されたフレームワークは、脳タイピングやロボット制御といった実用的応用分野において、リアルタイムで信頼性の高いヒューマン・スモーク・コグニティブ相互作用を可能にするか？
• RQ5 既存の最先端BCIモデルと比較して、提案されたWAS-LSTMおよびSAM部の性能向上はどの程度か？

主な発見

• 提案されたフレームワークは、実世界のEEGデータにおいて、複数の最先端ベースラインを上回る意図認識の正確性を達成した。
• 認知的ロボット制御シミュレーションにおいて、物体の把持と配置のタスクで100％の正確性を達成し、高い信頼性を示した。
• 3回の一致する意思決定を要件とするコンセンサスメカニズムにより、システムの安定性が著しく向上し、誤った命令発行が低減された。
• WAS-LSTMモデルはEEGチャネル間の空間的相関を効果的に捉えており、特徴表現の質と分類のロバスト性を向上させた。
• SAM部は生EEGから関連のある信号セグメントを的確に特定し、ノイズの影響を低減させるとともに、モデルが顕著な特徴に集中するのを支援した。
• フレームワークは、スマートホームや補助的応用分野における実用的展開に適した処理遅延を満たすリアルタイムの認知的インタラクションを可能にした。