[论文解读] Autonomy Infused Teleoperation with Application to BCI Manipulation

Katharina Muelling, Arun Venkatraman+8 more|arXiv (Cornell University)|Mar 18, 2015

EEG and Brain-Computer Interfaces参考文献 41被引用 18

一句话总结

本文提出了一种共享控制遥操作框架，整合了计算机视觉、用户意图推断以及人机输入与自主控制之间的自适应仲裁，以提升皮层内脑机接口（BCI）驱动的机器人操作性能。通过使用抓取捕捉包络和可调节辅助水平，该系统在高精度、杂乱环境及新型物体场景下显著提高了任务成功率，并减少了皮层内BCI用户的操作负担。

ABSTRACT

Robot teleoperation systems face a common set of challenges including latency, low-dimensional user commands, and asymmetric control inputs. User control with Brain-Computer Interfaces (BCIs) exacerbates these problems through especially noisy and erratic low-dimensional motion commands due to the difficulty in decoding neural activity. We introduce a general framework to address these challenges through a combination of computer vision, user intent inference, and arbitration between the human input and autonomous control schemes. Adjustable levels of assistance allow the system to balance the operator's capabilities and feelings of comfort and control while compensating for a task's difficulty. We present experimental results demonstrating significant performance improvement using the shared-control assistance framework on adapted rehabilitation benchmarks with two subjects implanted with intracortical brain-computer interfaces controlling a seven degree-of-freedom robotic manipulator as a prosthetic. Our results further indicate that shared assistance mitigates perceived user difficulty and even enables successful performance on previously infeasible tasks. We showcase the extensibility of our architecture with applications to quality-of-life tasks such as opening a door, pouring liquids from containers, and manipulation with novel objects in densely cluttered environments.

研究动机与目标

• 解决BCI控制机器人操作中带宽低、信号噪声大且不稳定的问题。
• 降低用户在高精度遥操作任务中的工作负荷与感知任务难度。
• 通过智能自主性的引入，实现此前无法完成的任务的成功执行。
• 将系统适用性扩展至现实世界的生活质量任务，如倒液体和开门。
• 开发一种灵活可扩展的架构，支持无需预先建模知识的新型物体操作。

提出的方法

• 系统使用基于RANSAC和ICP的深度图像模板匹配技术，利用三维模型库实现实时物体识别与定位。
• 提出“捕捉包络”——针对特定物体与抓取方式的动态感兴趣区域——以实现从低维用户运动指令中连续平滑地推断抓取意图。
• 采用最大熵公式推断用户意图，基于运动轨迹与环境上下文估计最可能的目标。
• 通过可调节辅助水平的人机仲裁模块，将用户指令与自主运动规划相结合，实现控制权与舒适度的平衡。
• 通过关节锁止检测与基于腕部力矩传感器的雅可比转置控制实现顺应性控制，实现与环境的安全交互。
• 通过超体素分割与简化手部模型的前向仿真，将框架扩展至新型物体，以检测可行的抓取点。

实验结果

研究问题

• RQ1 共享控制框架是否能提升BCI控制机器人操作的任务表现并减少用户操作负担？
• RQ2 可调节辅助水平如何影响用户对控制感与任务难度的主观感知？
• RQ3 该系统是否能仅通过低维BCI输入成功处理复杂的真实世界任务，如倒液体或开门？
• RQ4 在无先前三维模型的情况下，系统对未建模的新颖物体的泛化能力如何？
• RQ5 整合计算机视觉与意图推断在杂乱动态环境中如何提升BCI遥操作的鲁棒性？

主要发现

• 共享控制框架使两名皮层内BCI用户成功完成了此前直接遥操作无法实现的任务。
• 在倒液体任务中，系统在10次试验中实现了100%的成功率，仅一次试验未能将容器放回桌面。
• 系统显著降低了用户感知的任务难度，使受试者能以更少的认知负荷完成高精度任务。
• 与固定阈值方法相比，使用捕捉包络显著提升了抓取意图推断的准确度与平滑性。
• 该架构通过无模型感知与抓取检测，成功将系统扩展至密集杂乱环境中的新型物体，已通过运动控制器作为概念验证。
• 将自主辅助与BCI输入相结合，使系统在复杂真实场景（如开门与倒液体）中实现了可靠的机器人操作。