[论文解读] Alternative Modes of Interaction in Proximal Human-in-the-Loop Operation of Robots

Tathagata Chakraborti, Sarath Sreedharan+2 more|arXiv (Cornell University)|Mar 27, 2017

EEG and Brain-Computer Interfaces参考文献 16被引用 28

一句话总结

本文提出了一种增强型人机交互系统，用于近距离协作任务，通过实时全息意图投射和基于EEG的情绪反馈实现。结合基于AR的视觉通信与实时神经信号监测，机器人能够学习适应人类行为以最小化人类的挫败感，通过利用EEG数据中的压力信号进行自举Q-learning，实现协作性能的提升。

ABSTRACT

Ambiguity and noise in natural language instructions create a significant barrier towards adopting autonomous systems into safety critical workflows involving humans and machines. In this paper, we propose to build on recent advances in electrophysiological monitoring methods and augmented reality technologies, to develop alternative modes of communication between humans and robots involved in large-scale proximal collaborative tasks. We will first introduce augmented reality techniques for projecting a robot's intentions to its human teammate, who can interact with these cues to engage in real-time collaborative plan execution with the robot. We will then look at how electroencephalographic (EEG) feedback can be used to monitor human response to both discrete events, as well as longer term affective states while execution of a plan. These signals can be used by a learning agent, a.k.a an affective robot, to modify its policy. We will present an end-to-end system capable of demonstrating these modalities of interaction. We hope that the proposed system will inspire research in augmenting human-robot interactions with alternative forms of communications in the interests of safety, productivity, and fluency of teaming, particularly in engineered settings such as the factory floor or the assembly line in the manufacturing industry where the use of such wearables can be enforced.

研究动机与目标

• 为解决人机通信中的阻抗失配问题，特别是在制造车间等安全关键、结构化的环境中。
• 通过用直接、可视化和生理反馈机制替代自然语言，减少人机交互中的模糊性和噪声。
• 利用反映人类在协作任务执行过程中情绪和认知状态的EEG信号，实现实时、闭环的机器人行为自适应。
• 开发一种系统，通过共享AR投影和情绪反馈实现无缝、直观的协作，提升人机协作的安全性和流畅性。
• 评估在人机协同机器人规划中使用EEG和AR实现实时策略自适应的可行性。

提出的方法

• 机器人在共享工作空间中将意图以可交互的全息图（如抓取符号）投射，使人类可通过注视和选择直接交互。
• 人类行为被解释为意图信号，使机器人能够基于人类输入实时重新规划。
• 监测脑电图（EEG）信号，以检测离散事件反应（如P300）和持续的情绪状态（如挫败感）。
• 在模拟的BlocksWorld环境中训练Q-learning智能体，采用因子化状态表示和奖励塑造，以鼓励堆叠塔的形成并避免使用人类偏好的积木。
• 将模拟环境中获得的初始Q值表作为真实世界训练的自举策略，结合人类压力信号作为负向奖励。
• 将EEG反馈整合进学习循环，当检测到高挫败水平时，触发策略更新以避免引发负面人类情绪的行为。

实验结果

研究问题

• RQ1 全息图形式的机器人意图投射能否作为近距离人机协作中的共享、直观的通信媒介？
• RQ2 EEG信号能否有效用于检测机器人执行任务过程中人类的实时情绪状态？
• RQ3 能否利用EEG提供的情绪反馈实时塑造机器人的决策策略？
• RQ4 从模拟策略进行自举在多大程度上能提升真实世界人机协同学习中的收敛速度？
• RQ5 投影感知规划与情绪反馈如何协同提升协作流畅性并降低人类压力？

主要发现

• 通过EEG导出的负向奖励引导的Q-learning，机器人成功学会避免使用人类偏好的特定积木，从而降低挫败感。
• 智能体在模拟环境中约800次训练迭代内收敛至最优策略——在5步内达成目标。
• 从模拟环境获得的自举Q-learning策略显著缩短了真实世界适应阶段的训练时间。
• 初步结果显示，机器人能够基于实时压力信号探索新策略，表明情绪反馈集成的可行性。
• 该系统表明，AR投影与EEG反馈可构成闭环交互机制，从而提升人机协作效果。
• 初步评估表明，随着用户熟练度提高，视觉投影的价值可能下降，凸显了自适应界面设计的必要性。