[论文解读] Early Prediction for Physical Human Robot Collaboration in the Operating Room

Tian Zhou, Juan Wachs|arXiv (Cornell University)|Sep 26, 2017

Social Robot Interaction and HRI参考文献 44被引用 5

一句话总结

本文提出了一种用于机器人刷手护士（RSN）的多模态早期交接预测算法，通过语音、手势、脑电图（EEG）和肌电图（EMG）信号预测外科医生的器械请求。基于LSTM的模型在仅完成30%动作时即达到0.80的F1分数，优于人类基线在早期预测中的表现，并在完整动作观测下达到0.90的F1分数。

ABSTRACT

To enable a natural and fluent human robot collaboration flow, it is critical for a robot to comprehend their human peers' on-going actions, predict their behaviors in the near future, and plan its actions correspondingly. Specifically, the capability of making early predictions is important, so that the robot can foresee the precise timing of a turn-taking event and start motion planning and execution early enough to smooth the turn-taking transition. Such proactive behavior would reduce human's waiting time, increase efficiency and enhance naturalness in collaborative task. To that end, this paper presents the design and implementation of an early turn-taking prediction algorithm, catered for physical human robot collaboration scenarios. Specifically, a Robotic Scrub Nurse (RSN) system which can comprehend surgeon's multimodal communication cues and perform turn-taking prediction is presented. The developed algorithm was tested on a collected data set of simulated surgical procedures in a surgeon-nurse tandem. The proposed turn-taking prediction algorithm is found to be significantly superior to its algorithmic counterparts, and is more accurate than human baseline when little partial input is given (less than 30% of full action). After observing more information, the algorithm can achieve comparable performances as humans with a F1 score of 0.90.

研究动机与目标

• 通过在医生明确表达前预测其器械请求，实现在手术室中主动的人机协作。
• 解决在快节奏手术环境中机器人运动规划时间有限的挑战。
• 通过减少交接转换期间的相互沉默与冲突，提升协作流畅性。
• 开发一种利用多模态线索（语音、手势、EEG、EMG）实现鲁棒早期预测的系统。
• 在早期预测场景下，将算法性能与人类基线及最先进方法进行验证。

提出的方法

• 系统通过Myo臂带（EMG）、Emotiv Epoc头戴设备（EEG）、Kinect（手势）和音频（语音）采集多模态信号，以监测外科医生行为。
• 循环神经网络（LSTM）处理多模态特征的时间序列，以预测交接事件。
• 算法采用Dempster-Shafer理论进行传感器融合，整合多源模态的证据，提升预测可靠性。
• 模型在带有器械请求事件标注的模拟手术数据集上进行训练与评估。
• 在不同时间点（动作持续时间的0%–40%）评估早期预测性能，以F1分数为指标。
• 考虑动态特征选择以实现运行时自适应，但本研究中尚未完全实现。

实验结果

研究问题

• RQ1 多模态早期交接预测系统是否能在输入有限的情况下，优于人类基线对医生器械请求的预测？
• RQ2 所提出的基于LSTM的模型结合传感器融合，在动作完全完成前预测交接事件的效能如何？
• RQ3 与完整输入相比，使用部分输入（如动作持续时间的30%）时，该算法的性能增益如何？
• RQ4 在F1分数与早期预测能力方面，该方法与现有最先进交接预测算法相比表现如何？
• RQ5 手术任务进展的上下文线索在多大程度上可随时间提升预测准确性？

主要发现

• 当仅完成30%动作持续时间时，所提算法的F1分数达到0.80，优于相同条件下的人员基线。
• 随着动作推进，当完整观测动作时，算法的F1分数提升至0.90，达到与人类相当的性能水平。
• 在早期预测场景中，该算法显著优于其算法对比方法，尤其在部分输入条件下表现突出。
• 结合LSTM与Dempster-Shafer融合的多模态信号（语音、手势、EEG、EMG）显著提升了预测的鲁棒性与准确性。
• 与现有方法相比，本系统在早期预测阶段（动作的0%–40%）表现出更优性能，后者常依赖后期线索。
• 结果验证了在物理人机协作中，早期预测在时间敏感环境（如手术室）中具有可行性与有效性。