[论文解读] Deep Reinforcement Learning for Surgical Gesture Segmentation and Classification

Daochang Liu, Tingting Jiang|arXiv (Cornell University)|Jun 21, 2018

Human Pose and Action Recognition参考文献 2被引用 14

一句话总结

本文提出了一种用于联合手术动作分割与分类的深度强化学习框架，将该任务建模为序列决策过程，其中智能体通过平衡速度与准确率来学习分割与分类动作。通过显式地在动作与奖励设计中引入时间一致性，该方法在 JIGSAWS 数据集上实现了最先进（SOTA）的编辑分数，优于先前方法，同时保持了具有竞争力的帧级准确率。

ABSTRACT

Recognition of surgical gesture is crucial for surgical skill assessment and efficient surgery training. Prior works on this task are based on either variant graphical models such as HMMs and CRFs, or deep learning models such as Recurrent Neural Networks and Temporal Convolutional Networks. Most of the current approaches usually suffer from over-segmentation and therefore low segment-level edit scores. In contrast, we present an essentially different methodology by modeling the task as a sequential decision-making process. An intelligent agent is trained using reinforcement learning with hierarchical features from a deep model. Temporal consistency is integrated into our action design and reward mechanism to reduce over-segmentation errors. Experiments on JIGSAWS dataset demonstrate that the proposed method performs better than state-of-the-art methods in terms of the edit score and on par in frame-wise accuracy. Our code will be released later.

研究动机与目标

• 为解决现有手术动作分割方法中常见的过分割问题，该问题导致编辑分数不理想。
• 通过将帧级准确率与段级编辑分数统一到一个联合学习目标中，提升联合动作分割与分类的性能。
• 通过强化学习将手术动作识别建模为序列决策过程，模拟人类的分割行为。
• 通过结构化的动作与奖励设计，显式地在分割决策中强制实现时间一致性，而非依赖 RNN 或 TCN 中的隐式机制。
• 证明基于时间卷积网络（TCN）的层次特征可作为强化学习智能体的状态表示。

提出的方法

• 将任务表述为马尔可夫决策过程（MDP），其中智能体根据从预训练 TCN 提取的状态表示选择动作（分割步长）。
• 动作空间包括离散的步长（例如，4、21 帧），使智能体能够快速扫描动作内部并仔细检查边界。
• 奖励函数包含两项：一项用于帧级分类准确率，另一项用于最大化段级编辑分数，从而同时鼓励精确性与正确的分割边界。
• 通过将未来帧的特征和统计模型中的转移概率整合到状态表示中，实现时间一致性。
• 使用深度强化学习训练策略网络，以最大化累积折扣奖励，从而同时优化准确率与编辑分数。
• 使用 TCN 编码器提取的层次特征作为输入状态特征，最终层激活值（32D）作为智能体的状态表示。

实验结果

研究问题

• RQ1 强化学习能否有效应用于手术动作分割与分类，以在编辑分数上优于监督深度学习基线方法？
• RQ2 通过动作与奖励设计显式建模时间一致性，是否能减少动作识别中的过分割错误？
• RQ3 通过强化学习训练的策略是否能学习到类似人类的分割行为——在动作中心快速扫描、在边界处放慢速度——而无需依赖循环或卷积记忆机制？
• RQ4 状态表示的不同组件（如未来特征、转移概率）对最终性能的贡献如何？
• RQ5 具有离散步长的二元动作空间是否能在平衡准确率与编辑分数方面优于连续或固定步长方法？

主要发现

• 所提方法在 JIGSAWS 缝合任务的视频数据上达到 87.96 的段级编辑分数，在运动学数据上达到 87.86，优于所有先前的最先进方法。
• 该方法在保持高帧级准确率（视频数据为 81.43%，运动学数据为 82.07%）的同时显著提升了编辑分数，展现出良好的指标权衡。
• 消融实验证实，状态表示的所有组件——尤其是层次 TCN 特征——对最优性能至关重要。
• 不同步长的实验表明，较大的步长（如 16、32）在一定范围内可提升编辑分数，但过大会导致准确率下降，验证了离散自适应步长的优势。
• 通过步骤历史可视化，确认智能体学习到在动作中心采取大步长、在边界处采取小步长的行为，与人类分割直觉一致。
• 该方法在视频数据上取得最高的 F1 分数（IoU 为 10% 时为 92.0），在运动学数据上为 91.1，进一步证实了其优越的边界检测能力。