[论文解读] Automatic Gesture Recognition in Robot-assisted Surgery with Reinforcement Learning and Tree Search

Xiaojie Gao, Yueming Jin+2 more|arXiv (Cornell University)|Feb 20, 2020

Human Pose and Action Recognition参考文献 36被引用 13

一句话总结

该论文提出了一种强化学习与树搜索框架，用于机器人辅助手术中的自动手术动作识别，结合策略网络实现快速决策，以及通过前瞻搜索实现精细化预测的价值网络。该方法在JIGSAWS缝合任务上实现了最先进性能，通过融合两个网络的互补信息，在准确率、编辑分数和F1分数上均优于先前方法。

ABSTRACT

Automatic surgical gesture recognition is fundamental for improving intelligence in robot-assisted surgery, such as conducting complicated tasks of surgery surveillance and skill evaluation. However, current methods treat each frame individually and produce the outcomes without effective consideration on future information. In this paper, we propose a framework based on reinforcement learning and tree search for joint surgical gesture segmentation and classification. An agent is trained to segment and classify the surgical video in a human-like manner whose direct decisions are re-considered by tree search appropriately. Our proposed tree search algorithm unites the outputs from two designed neural networks, i.e., policy and value network. With the integration of complementary information from distinct models, our framework is able to achieve the better performance than baseline methods using either of the neural networks. For an overall evaluation, our developed approach consistently outperforms the existing methods on the suturing task of JIGSAWS dataset in terms of accuracy, edit score and F1 score. Our study highlights the utilization of tree search to refine actions in reinforcement learning framework for surgical robotic applications.

研究动机与目标

• 解决现有逐帧动作识别方法在机器人辅助手术中忽略长期依赖关系和未来上下文信息的局限性。
• 通过在决策过程中整合未来信息，提升手术动作识别在片段级别上的性能。
• 通过双网络强化学习框架减少网络混淆，提升罕见或模糊动作的鲁棒性。
• 开发一种通用的基于搜索的方法，利用价值网络引导与树搜索增强策略网络的决策。
• 在手术视频分析中实现上下文感知、类人决策，适用于技能评估与自主手术等应用。

提出的方法

• 该框架使用深度强化学习智能体，用于在视频序列中分割并分类手术动作。
• 策略网络基于当前观测，为每一帧提供初始的快速动作预测。
• 价值网络评估动作序列的长期质量，提供对决策更全面的评估。
• 采用树搜索来探索未来动作序列，利用策略网络的置信度作为先验，引导搜索空间。
• 搜索过程结合两个网络的预测：策略网络缩小搜索方向，价值网络评估动作序列以获得最优结果。
• 最终动作基于树搜索识别出的最佳路径选定，从而纠正仅依赖策略网络可能产生的错误决策。

实验结果

研究问题

• RQ1 与逐帧分类相比，结合树搜索的强化学习框架是否能提升手术动作识别在片段级别上的性能？
• RQ2 将价值网络与策略网络结合，如何增强决策的鲁棒性，特别是在罕见或模糊动作上？
• RQ3 通过树搜索进行前瞻推理，在多大程度上可减少因网络混淆导致的动作识别错误？
• RQ4 一种考虑未来帧的基于搜索的方法，是否能提升手术视频分割的准确率与编辑分数？
• RQ5 策略网络与价值网络之间的协作，为何能带来优于单独使用任一网络的性能提升？

主要发现

• 所提方法在JIGSAWS缝合任务上取得了81.67%的准确率、88.53%的编辑分数以及92.68%的F1分数（IoU=10%），优于所有基线方法。
• 仅使用策略网络时，准确率为81.52%，编辑分为87.87%；仅使用价值网络时，准确率为80.91%，编辑分为88.34%，表明两者具有互补优势。
• 与仅使用策略网络相比，树搜索使准确率提升0.15%，编辑分数提升0.66%，F1分数提升0.46%（IoU=10%）。
• 该方法处理视频耗时25.4秒（10次树搜索迭代），尽管比6.2秒的基线快3.3倍，但仍具备在线应用的可行性。
• 框架成功恢复了仅依赖策略网络时未能检测到的缺失动作，如图4所示的视觉验证。
• 将树搜索与双网络结合，显著减少了先前方法中常见的过度分割与混淆问题。