[论文解读] Joint Surgical Gesture and Task Classification with Multi-Task and Multimodal Learning

Duygu Sarıkaya, Khurshid A. Guru+1 more|arXiv (Cornell University)|May 2, 2018

Human Pose and Action Recognition参考文献 20被引用 15

一句话总结

该论文提出了一种多任务、多模态深度学习架构，通过融合视觉（RGB）和运动（光流）特征，联合分类机器人辅助手术视频中的低级别手术动作和手术任务。通过将来自两种模态的卷积神经网络（CNN）特征进行融合，并利用长短期记忆（LSTM）网络建模时序动态，该方法实现了50.83%的平均平均精度（MAP），相比单模态、单任务基线模型提升了22%。

ABSTRACT

We propose a novel multi-modal and multi-task architecture for simultaneous low level gesture and surgical task classification in Robot Assisted Surgery (RAS) videos.Our end-to-end architecture is based on the principles of a long short-term memory network (LSTM) that jointly learns temporal dynamics on rich representations of visual and motion features, while simultaneously classifying activities of low-level gestures and surgical tasks. Our experimental results show that our approach is superior compared to an ar- chitecture that classifies the gestures and surgical tasks separately on visual cues and motion cues respectively. We train our model on a fixed random set of 1200 gesture video segments and use the rest 422 for testing. This results in around 42,000 gesture frames sampled for training and 14,500 for testing. For a 6 split experimentation, while the conventional approach reaches an Average Precision (AP) of only 29% (29.13%), our architecture reaches an AP of 51% (50.83%) for 3 tasks and 14 possible gesture labels, resulting in an improvement of 22% (21.7%). Our architecture learns temporal dynamics on rich representations of visual and motion features that compliment each other for classification of low-level gestures and surgical tasks. Its multi-task learning nature makes use of learned joint re- lationships and combinations of shared and task-specific representations. While benchmark studies focus on recognizing gestures that take place under specific tasks, we focus on recognizing common gestures that reoccur across different tasks and settings and significantly perform better compared to conventional architectures.

研究动机与目标

• 为解决在多个手术任务中重复出现的常见低级别手术动作的识别挑战，而非局限于特定任务的动作。
• 通过同时利用视觉和运动模态，联合建模动作和任务的时序动态，以提升分类性能。
• 通过在统一框架中实现对全部14种动作的泛化，克服现有基准仅在单一任务内训练和测试动作的局限性。
• 利用多任务学习在动作分类和任务分类之间共享表示，以增强特征学习并减少过拟合。

提出的方法

• 该模型采用两条并行分支：一条处理RGB帧以提取视觉特征，另一条处理RGB编码的光流以获取运动线索。
• 使用在动作和任务分类任务上分别预训练的卷积神经网络（CNN）从两种模态中提取高层特征。
• 将两种模态经CNN处理后的特征拼接，形成多模态表示，再输入长短期记忆（LSTM）网络。
• LSTM用于建模连续视频帧的时序动态，捕捉动作和任务转换中的序列依赖关系。
• 该架构采用多任务学习，通过共享表示和任务特定表示，联合优化动作和任务分类。
• 数据增强包括随机裁剪和水平翻转，输入帧在训练和推理时均调整为240×320大小。

实验结果

研究问题

• RQ1 与单模态、单任务方法相比，多模态、多任务学习框架是否能提升低级别手术动作和手术任务的联合分类性能？
• RQ2 融合视觉和运动特征在识别跨不同手术任务出现的通用动作方面有何增强作用？
• RQ3 在动作和任务分类之间共享表示学习在多大程度上提升了泛化能力并减少了过拟合？
• RQ4 在多模态特征上使用LSTM进行时序建模，是否相比忽略序列动态的模型能带来更好的性能？

主要发现

• 所提出的多任务、多模态模型在422个动作视频片段的测试集上实现了50.83%的平均平均精度（MAP），显著优于单任务、单模态基线模型的29.13%。
• 在六次随机划分中，MAP的平均提升达22%，各项提升在18%至26%之间，表明性能提升具有一致性和鲁棒性。
• 该模型展现出强大的泛化能力，能够识别三种手术任务（缝合、打结、持针传递）中的14种常见低级别动作，而基准模型通常仅限于特定任务的动作。
• 该架构有效利用了视觉和运动模态之间的互补信息，其中运动线索在不依赖场景或物体上下文的情况下对识别通用动作起到了关键作用。
• 通过多任务学习在任务间共享表示，同时通过任务特定适应保持性能，该方法有效减少了过拟合。
• 测试推理时间约为每30帧视频7–8秒（不含光流计算），而光流计算是实时部署的主要瓶颈。