[论文解读] Brain-Swarm Interface (BSI): Controlling a Swarm of Robots with Brain and Eye Signals from an EEG Headset

Aamodh Suresh, Mac Schwager|arXiv (Cornell University)|Dec 24, 2016

EEG and Brain-Computer Interfaces参考文献 3被引用 3

一句话总结

本文提出了一种脑-蜂群接口（BSI），仅通过市售的脑电图（EEG）头戴设备记录的脑部活动与眼球运动，即可实现人类用户对机器人蜂群的思维控制。通过结合隐马尔可夫模型（HMM）进行思维解码，以及多步信号处理实现眼球运动检测，该系统调节基于势场的蜂群控制器，实现在模拟环境（128台机器人）和硬件实验（3台M3pi机器人）中对蜂群分散、聚集和方向的实时控制。

ABSTRACT

This work presents a novel marriage of Swarm Robotics and Brain Computer Interface technology to produce an interface which connects a user to a swarm of robots. The proposed interface enables the user to control the swarm's size and motion employing just thoughts and eye movements. The thoughts and eye movements are recorded as electrical signals from the scalp by an off-the-shelf Electroencephalogram (EEG) headset. Signal processing techniques are used to filter out noise and decode the user's eye movements from raw signals, while a Hidden Markov Model technique is employed to decipher the user's thoughts from filtered signals. The dynamics of the robots are controlled using a swarm controller based on potential fields. The shape and motion parameters of the potential fields are modulated by the human user through the brain-swarm interface to move the robots. The method is demonstrated experimentally with a human controlling a swarm of three M3pi robots in a laboratory environment, as well as controlling a swarm of 128 robots in a computer simulation.

研究动机与目标

• 开发一种直观、非侵入性的类人-机器接口，仅通过脑部与眼球信号实现对大规模机器人蜂群的控制。
• 通过整合神经科学、信号处理与控制理论，填补脑机接口（BCI）在群体机器人学中应用的空白。
• 使运动功能障碍者能够通过集体机器人行为操控复杂环境。
• 展示基于EEG输入的实时、在线控制蜂群行为——具体为聚集、分散与方向运动。
• 在高保真模拟与真实硬件实验中验证系统性能，分别使用128台与3台真实机器人。

提出的方法

• 使用市售的Emotiv Epoc EEG头戴设备，非侵入式记录头皮电活动信号，包括脑部活动与眼球运动。
• 采用多步信号处理方法，从原始EEG数据中滤波并解码水平与垂直眼球运动信号。
• 应用隐马尔可夫模型（HMM）将滤波后的脑信号分类为表示蜂群聚集或分散意图的离散思维状态。
• 将解码后的思维状态与眼球运动方向映射至基于势场的蜂群控制器中的动态参数（如势场形状与尺度）。
• 通过Zigbee以30 Hz的频率无线传输控制指令至各台M3pi机器人，其采用比例点偏移控制器生成电机转速。
• 集成运动捕捉系统（Optitrack）实现实时机器人位姿反馈，并通过实时视频流进行可视化监控。

实验结果

研究问题

• RQ1 混合脑机接口系统能否有效从市售EEG硬件中解码出基于思维的意图与眼球运动信号，以实现蜂群控制？
• RQ2 基于势场的蜂群控制器能否通过实时解码的脑信号与眼球信号动态调节，实现期望的蜂群行为？
• RQ3 在在线、实时环境中，仅通过非侵入性EEG信号控制物理蜂群（3台M3pi机器人）与模拟蜂群（128台机器人）是否可行？
• RQ4 在存在人类认知负荷的复杂多组件系统中，基于HMM的思维状态估计与眼球运动检测的可靠性与准确性如何？
• RQ5 此类系统能否作为运动功能障碍者同时控制多台机器人的一种可行且直观的接口？

主要发现

• 系统成功在真实实验室环境中，仅通过EEG信号实现了对3台M3pi机器人的蜂群实时控制。
• 基于HMM的思维状态估计在实验中对聚集与分散意图的区分表现出高置信度。
• 眼球运动检测准确引导蜂群沿预设路径行进，路径包含四个连续区域，证实了方向控制能力。
• 在模拟环境中，128台机器人的蜂群能够按照预定路径行进，并正确实现分散与聚集状态之间的切换。
• 系统在硬件与模拟两种设置中均保持稳定性能，具备一致的视觉反馈与控制响应。
• 尽管面临认知负荷与硬件复杂性的挑战，系统在多次实验中仍实现了可靠运行。