[论文解读] Brain Responses During Robot-Error Observation

Dominik Welke, Joos Behncke+7 more|arXiv (Cornell University)|Jan 1, 2017

EEG and Brain-Computer Interfaces参考文献 48被引用 5

一句话总结

本研究调查了非侵入性脑电图（EEG）是否能够解码人类在观察机器人错误和机器人类型时的大脑反应。通过在高密度EEG上使用滤波器组共空间模式（FBCSP）分析流程，作者展示了对动作正确性与机器人形态的显著解码——尽管准确率仅适中——表明EEG中包含可用于优化人机交互的可解码神经信号。

ABSTRACT

Brain-controlled robots are a promising new type of assistive device for severely impaired persons. Little is however known about how to optimize the interaction of humans and brain-controlled robots. Information about the human’s perceived correctness of robot performance might provide a useful teaching signal for adaptive control algorithms and thus help enhancing robot control. Here, we studied whether watching robots perform erroneous vs. correct action elicits differential brain responses that can be decoded from single trials of electroencephalographic (EEG) recordings, and whether brain activity during human-robot interaction is modulated by the robot’s visual similarity to a human. To address these topics, we designed two experiments. In experiment I, participants watched a robot arm pour liquid into a cup. The robot performed the action either erroneously or correctly, i.e. it either spilled some liquid or not. In experiment II, participants observed two different types of robots, humanoid and non-humanoid, grabbing a ball. The robots either managed to grab the ball or not. We recorded high-resolution EEG during the observation tasks in both experiments to train a Filter Bank Common Spatial Pattern (FBCSP) pipeline on the multivariate EEG signal and decode for the correctness of the observed action, and for the type of the observed robot. Our findings show that it was possible to decode both correctness and robot type for the majority of participants significantly, although often just slightly, above chance level. Our findings suggest that non-invasive recordings of brain responses elicited when observing robots indeed contain decodable information about the correctness of the robot’s action and the type of observed robot. Our study also indicates that, given the, so far, relatively low decoding accuracies, either further improvements in non-invasive recording and analysis techniques or the utilization of intracranial measurements of neuronal activity will be necessary for practical applications.

研究动机与目标

• 确定是否能从单次试次的EEG记录中解码出人类观察者对机器人动作正确性与错误性的大脑反应。
• 研究机器人外观与人类的视觉相似性是否在动作观察过程中调节神经反应。
• 评估使用非侵入性EEG作为脑机接口（BCI）系统中自适应机器人控制实时反馈信号的可行性。
• 探索基于EEG的神经解码在人机交互（HRI）中通过错误感知信号增强交互的潜力。

提出的方法

• 开展两项实验：一项为机械臂执行正确或错误的倒液动作，另一项为类人型与非类人型机器人执行抓球动作。
• 使用64导联EEG系统并优化信号采集，记录观察任务中的高分辨率EEG。
• 应用滤波器组共空间模式（FBCSP）机器学习流程，从单次试次EEG数据中解码与动作正确性及机器人类型相关的神经模式。
• 在个体参与者的EEG数据上训练并测试FBCSP模型，以评估逐次试次的解码性能。
• 采用非参数置换检验评估解码准确率高于随机水平的统计显著性。
• 分析大脑反应与动作正确性及机器人形态的关系，重点关注早期事件相关电位成分。

实验结果

研究问题

• RQ1 单次试次的EEG记录能否解码出人类观察者感知到机器人动作正确或错误？
• RQ2 机器人的外观（类人型与非类人型）是否调节观察者在动作观察过程中的神经反应？
• RQ3 在人机交互背景下，是否存在可测量且可解码的EEG神经特征，对应于对机器人错误和机器人类型的感知？
• RQ4 个体神经反应的差异在多大程度上影响对机器人动作正确性与机器人类型的解码性能？

主要发现

• FBCSP流程在大多数参与者中成功实现了对观察到的机器人动作正确性的显著高于随机水平的解码，尽管准确率仅适中。
• 对机器人类型（类人型与非类人型）的解码在大多数参与者中也显著高于随机水平，表明大脑对机器人形态具有敏感性。
• 研究发现，机器人错误观察期间产生的EEG信号中，包含有关动作正确性与机器人外观的可解码信息，即使解码准确率仅略高于随机水平。
• 尽管结果积极，但解码准确率仍不足以满足实际BCI应用需求，提示需要改进非侵入性记录技术或采用颅内测量。
• 研究结果支持使用基于EEG的神经反馈来指导脑机接口中自适应控制算法的可行性。
• 源定位与未来工作应聚焦于识别解码与机器人相关错误感知最优化的大脑区域与信号特征。