[论文解读] LoViT: Long Video Transformer for Surgical Phase Recognition

Yang Liu, Maxence Boels+5 more|arXiv (Cornell University)|May 15, 2023

Surgical Simulation and Training被引用 6

一句话总结

LoViT 提出了一种基于两阶段 Transformer 的手术阶段识别方法，通过级联的 L-Trans 和 ProbSparse 自注意力模块融合局部与全局时间特征，利用阶段转换感知监督和视频片段级训练，在 Cholec80（+2.4 个百分点）和 AutoLaparo（+3.1 个百分点）上实现了最先进性能。

ABSTRACT

Online surgical phase recognition plays a significant role towards building contextual tools that could quantify performance and oversee the execution of surgical workflows. Current approaches are limited since they train spatial feature extractors using frame-level supervision that could lead to incorrect predictions due to similar frames appearing at different phases, and poorly fuse local and global features due to computational constraints which can affect the analysis of long videos commonly encountered in surgical interventions. In this paper, we present a two-stage method, called Long Video Transformer (LoViT) for fusing short- and long-term temporal information that combines a temporally-rich spatial feature extractor and a multi-scale temporal aggregator consisting of two cascaded L-Trans modules based on self-attention, followed by a G-Informer module based on ProbSparse self-attention for processing global temporal information. The multi-scale temporal head then combines local and global features and classifies surgical phases using phase transition-aware supervision. Our approach outperforms state-of-the-art methods on the Cholec80 and AutoLaparo datasets consistently. Compared to Trans-SVNet, LoViT achieves a 2.4 pp (percentage point) improvement in video-level accuracy on Cholec80 and a 3.1 pp improvement on AutoLaparo. Moreover, it achieves a 5.3 pp improvement in phase-level Jaccard on AutoLaparo and a 1.55 pp improvement on Cholec80. Our results demonstrate the effectiveness of our approach in achieving state-of-the-art performance of surgical phase recognition on two datasets of different surgical procedures and temporal sequencing characteristics whilst introducing mechanisms that cope with long videos.

研究动机与目标

• 解决在长时长视频（1–2 小时）中识别手术阶段的挑战，标准模型在此类视频中会丢失细粒度时间细节。
• 克服 RNN 和 TCN 在捕捉长程依赖关系和保留手术视频序列中的细粒度特征方面的局限性。
• 通过多尺度时间聚合器融合局部短期和全局长期时间特征，提升性能。
• 引入基于阶段转换图的阶段转换感知监督，以增强对阶段转换的建模，提高识别准确率。
• 开发一种在长视频上保持高准确率和高效率的方法，无需依赖额外标注（如器械存在性或器械追踪信息）。

提出的方法

• 使用视频片段级监督训练一个时间丰富的空间特征提取器，以避免因不同阶段中外观相似的帧导致的帧级歧义。
• 采用基于原始自注意力机制的两个级联 L-Trans 模块，从短视频片段中聚合局部时间特征。
• 使用 G-Informer 模块结合 ProbSparse 自注意力机制，对整个手术视频中的长程依赖关系进行建模。
• 通过多尺度时间头将局部与全局特征进行融合，用于阶段分类。
• 引入阶段转换图作为监督信号，突出显示阶段之间的转换区域，提升模型对阶段边界的感知能力。
• 采用端到端训练，结合阶段转换感知监督，增强时间推理能力，且不增加额外计算或标注开销。

Figure 1: The proposed LoViT framework for surgical video phase recognition. The $\mathcal{S}^{\mathcal{R}}$ module extracts temporally-rich spatial features $e$ from each video frame $x$ . Two cascaded L-Trans modules ( $\mathrm{L}_{s}$ -Trans and $\mathrm{L}_{l}$ -Trans) output local temporal feat

实验结果

研究问题

• RQ1 基于 Transformer 的架构能否有效捕捉长手术视频中局部与全局时间依赖关系，以实现阶段识别？
• RQ2 阶段转换感知监督在多大程度上提升了模型识别手术阶段之间转换的能力？
• RQ3 通过多尺度时间聚合器融合局部与全局特征，是否优于依赖 TCN 或 RNN 的现有方法？
• RQ4 该模型在具有复杂阶段重复和小样本数量的数据集（如 AutoLaparo）上的表现如何？
• RQ5 所提出的方法能否在不产生内存或推理速度退化的情况下，保持长视频上的高准确率和高效率？

主要发现

• 在 Cholec80 数据集上，LoViT 相较于 Trans-SVNet 实现了 2.4 个百分点的视频级准确率提升。
• 在更具挑战性的 AutoLaparo 数据集上，LoViT 相较于 Trans-SVNet 实现了 3.1 个百分点的准确率提升，表明其对复杂阶段关系具有强鲁棒性。
• 该模型在两个数据集上均优于 TMRNet、TeCNO 和 Trans-SVNet，表明其具备更优的泛化能力与长序列建模能力。
• 阶段转换感知监督显著提升了识别性能，使模型能够更好地捕捉手术阶段之间的转换。
• 在复杂场景中，局部时间特征比全局关系更具信息量，尤其在具有重复阶段的数据集（如 AutoLaparo）中表现更优。
• ProbSparse 自注意力机制的使用实现了高效的全局建模，同时保留了细粒度特征，优于会丢失此类细节的空洞卷积型 TCN 方法。

Figure 2: Example of similar frames (first and third) corresponding to different phases in Cholec80 dataset [ 14 ] .