[论文解读] Phase-Specific Augmented Reality Guidance for Microscopic Cataract Surgery Using Long-Short Spatiotemporal Aggregation Transformer

Puxun Tu, Hongfei Ye+7 more|arXiv (Cornell University)|Sep 11, 2023

Intraocular Surgery and LensesMedicine被引用 3

一句话总结

本文提出了一种用于显微白内障手术的阶段特定增强现实（AR）引导系统，采用长短期时空聚合变换器（LS-SAT）实现实时的手术阶段识别。通过结合以角膜缘区域为中心的空间特征与多尺度时间建模，该系统提供定制化的AR视觉提示——如区域特定引导和旋转对齐——相较于逐帧方法，显著提升了准确性和实时性能，临床验证表明其在阶段识别和AR提示对齐方面具有高度可靠性。

ABSTRACT

Phacoemulsification cataract surgery (PCS) is a routine procedure conducted using a surgical microscope, heavily reliant on the skill of the ophthalmologist. While existing PCS guidance systems extract valuable information from surgical microscopic videos to enhance intraoperative proficiency, they suffer from non-phasespecific guidance, leading to redundant visual information. In this study, our major contribution is the development of a novel phase-specific augmented reality (AR) guidance system, which offers tailored AR information corresponding to the recognized surgical phase. Leveraging the inherent quasi-standardized nature of PCS procedures, we propose a two-stage surgical microscopic video recognition network. In the first stage, we implement a multi-task learning structure to segment the surgical limbus region and extract limbus region-focused spatial feature for each frame. In the second stage, we propose the long-short spatiotemporal aggregation transformer (LS-SAT) network to model local fine-grained and global temporal relationships, and combine the extracted spatial features to recognize the current surgical phase. Additionally, we collaborate closely with ophthalmologists to design AR visual cues by utilizing techniques such as limbus ellipse fitting and regional restricted normal cross-correlation rotation computation. We evaluated the network on publicly available and in-house datasets, with comparison results demonstrating its superior performance compared to related works. Ablation results further validated the effectiveness of the limbus region-focused spatial feature extractor and the combination of temporal features. Furthermore, the developed system was evaluated in a clinical setup, with results indicating remarkable accuracy and real-time performance. underscoring its potential for clinical applications.

研究动机与目标

• 为解决超声乳化白内障手术（PCS）中缺乏阶段特定术中AR引导的问题，该问题导致视觉冗余和认知过载。
• 开发一种利用显微视频中的空间与时间特征实现实时手术阶段识别的系统，以提高识别准确性。
• 设计上下文相关的AR视觉提示——如角膜缘椭圆拟合与旋转计算——以适配每个手术阶段。
• 在临床环境中验证系统性能，确保在实际手术条件下具备实时性与鲁棒性。
• 通过整合长程与短程时间依赖关系，克服逐帧处理的局限性，实现在阶段转换期间的稳定阶段识别。

提出的方法

• 提出一种两阶段手术视频识别网络：首先，采用多任务学习结构分割角膜缘区域并提取每帧中的角膜缘聚焦空间特征。
• 其次，长短期时空聚合变换器（LS-SAT）通过融合短程与长程时间特征及空间特征，建模精细的局部与全局时间关系。
• LS-SAT网络采用双分支注意力机制，捕捉帧间局部运动模式与长程手术流程上下文。
• 利用角膜缘椭圆拟合与区域受限归一化互相关计算旋转，生成与识别出的手术阶段相匹配的AR视觉提示。
• 系统实现实时的手术阶段识别与AR提示生成，确保在外部显示器上稳定保持30 fps的可视化帧率。
• 临床评估基于自建数据集与公开数据集进行，消融实验验证了角膜缘聚焦特征提取器与时间特征融合的贡献。

实验结果

研究问题

• RQ1 阶段特定的AR引导系统是否能减少白内障手术中的视觉冗余并提升术中专注度？
• RQ2 与逐帧或短程时间建模方法相比，长短期时空聚合变换器（LS-SAT）在实时识别手术阶段方面的有效性如何？
• RQ3 引入角膜缘区域监督在多大程度上提升了空间特征质量与阶段识别准确率？
• RQ4 所提出的AR引导系统在真实手术环境中的临床可行性与实时性能如何？
• RQ5 角膜缘识别错误与分割错误对AR提示对齐的影响程度如何？此类故障发生的频率如何？

主要发现

• LS-SAT网络在阶段识别方面较逐帧方法与短程时间聚合方法更为平滑且准确，尤其在阶段转换期间表现更优。
• 与现有长程时间网络相比，该系统在处理具有挑战性的帧时表现出更强的鲁棒性，尤其在手术流程转换期间。
• 消融实验证实，角膜缘区域聚焦的空间特征提取器以及短程与长程时间特征的融合显著提升了识别准确率。
• 临床验证中，系统保持了稳定的30 fps可视化帧率，证明其具备适用于术中使用的实时性能。
• AR失败场景较为罕见，主要由运动模糊、组织变形或器械干扰导致的角膜缘误分割引起，各阶段中成功场景占主导。
• 系统展现出高度的临床可靠性，阶段识别与角膜缘分割错误对手术流程影响有限，主要发生在非器械操作场景中。