[论文解读] Internet of Things Meets Brain-Computer Interface: A Unified Deep Learning Framework for Enabling Human-Thing Cognitive Interactivity

Xiang Zhang, Lina Yao+4 more|arXiv (Cornell University)|May 1, 2018

EEG and Brain-Computer Interfaces参考文献 17被引用 11

一句话总结

本文提出了一种统一的深度学习框架，将脑机接口（BCI）与物联网（IoT）相结合，实现对智能设备的实时、意念驱动控制。通过采用基于强化学习的注意力选择机制（SAM）和改进的加权平均空间长短期记忆网络（WAS-LSTM），该框架能自动从噪声EEG信号中提取显著特征，并在真实世界的人-物认知交互任务中实现高精度意图识别，优于现有最先进基线模型。

ABSTRACT

A Brain-Computer Interface (BCI) acquires brain signals, analyzes and translates them into commands that are relayed to actuation devices for carrying out desired actions. With the widespread connectivity of everyday devices realized by the advent of the Internet of Things (IoT), BCI can empower individuals to directly control objects such as smart home appliances or assistive robots, directly via their thoughts. However, realization of this vision is faced with a number of challenges, most importantly being the issue of accurately interpreting the intent of the individual from the raw brain signals that are often of low fidelity and subject to noise. Moreover, pre-processing brain signals and the subsequent feature engineering are both time-consuming and highly reliant on human domain expertise. To address the aforementioned issues, in this paper, we propose a unified deep learning based framework that enables effective human-thing cognitive interactivity in order to bridge individuals and IoT objects. We design a reinforcement learning based Selective Attention Mechanism (SAM) to discover the distinctive features from the input brain signals. In addition, we propose a modified Long Short-Term Memory (LSTM) to distinguish the inter-dimensional information forwarded from the SAM. To evaluate the efficiency of the proposed framework, we conduct extensive real-world experiments and demonstrate that our model outperforms a number of competitive state-of-the-art baselines. Two practical real-time human-thing cognitive interaction applications are presented to validate the feasibility of our approach.

研究动机与目标

• 为解决非侵入性BCI脑信号中信号保真度低、噪声高的问题，以实现实际物联网交互。
• 消除BCI系统中耗时且依赖专业知识的预处理与特征工程步骤。
• 通过直接解读脑信号，实现人类与物联网设备之间端到端的实时认知交互。
• 开发一种鲁棒且可扩展的深度学习框架，以捕捉EEG数据中的时间动态特性与通道间依赖关系。
• 通过脑打字和认知机器人控制等实际应用验证该框架的有效性。

提出的方法

• 提出一种基于强化学习的注意力选择机制（SAM），以动态识别并聚焦于最具信息量的EEG信号段。
• 引入一种改进的长短期记忆网络（LSTM），称为WAS-LSTM，通过加权空间平均方法建模EEG通道间的跨维度依赖关系。
• 采用个性化预训练的深度学习模型，部署于云服务器，处理来自物联网连接设备的原始EEG流数据。
• 采用共识机制：系统仅在每0.5秒采集的64个EEG样本中连续三次做出一致的意图判断后才发出命令。
• 应用基于模式的决策融合方法，以提高可靠性并减少意图分类中的误报。
• 在真实物联网环境中部署该框架，使用Emotiv EPOC+头戴设备采集的EEG数据（采样率为128 Hz），数据以0.5秒为间隔进行处理。

实验结果

研究问题

• RQ1 统一的深度学习框架能否在无需人工特征工程的情况下，有效将低保真度、高噪声的EEG信号解码为可执行的物联网设备指令？
• RQ2 基于强化学习的注意力机制在原始EEG数据中识别显著时间模式的能力如何，以支持意图识别？
• RQ3 在认知物联网系统中，对通道间空间依赖关系进行建模在多大程度上提升了脑信号分类的准确性？
• RQ4 所提出的框架能否在实际应用中实现对物联网设备的实时、可靠的人-物认知交互，例如脑打字和机器人控制？
• RQ5 与现有最先进BCI模型相比，所提出的WAS-LSTM和SAM组件在性能上带来了多大提升？

主要发现

• 所提出的框架在真实世界EEG数据上的意图识别准确率上优于多个最先进基线模型。
• 在认知机器人控制模拟中，系统在物体抓取与放置任务中实现了100%的精确度，表现出高度可靠性。
• 共识机制（要求三次一致判断）显著提升了系统稳定性并减少了错误指令的产生。
• WAS-LSTM模型有效捕捉了EEG通道间的空间相关性，增强了特征表示并提升了分类鲁棒性。
• SAM组件成功从原始EEG中识别出相关信号段，降低了噪声影响，并提升了模型对显著特征的关注度。
• 该框架实现了与物联网设备的实时认知交互，处理延迟适合在智能家居和辅助应用中实际部署。