[论文解读] CauCLIP: Bridging the Sim-to-Real Gap in Surgical Video Understanding via Causality-Inspired Vision-Language Modeling

Yuxin He, An Li+1 more|arXiv (Cornell University)|Feb 6, 2026

Surgical Simulation and Training被引用 0

一句话总结

CauCLIP 提出一种因果引导、基于 CLIP 的框架，用于鲁棒的手术阶段识别，在没有目标域数据的情况下实现跨 sim-to-real 的泛化，采用基于频域的增强和因果抑制损失。

ABSTRACT

Surgical phase recognition is a critical component for context-aware decision support in intelligent operating rooms, yet training robust models is hindered by limited annotated clinical videos and large domain gaps between synthetic and real surgical data. To address this, we propose CauCLIP, a causality-inspired vision-language framework that leverages CLIP to learn domain-invariant representations for surgical phase recognition without access to target domain data. Our approach integrates a frequency-based augmentation strategy to perturb domain-specific attributes while preserving semantic structures, and a causal suppression loss that mitigates non-causal biases and reinforces causal surgical features. These components are combined in a unified training framework that enables the model to focus on stable causal factors underlying surgical workflows. Experiments on the SurgVisDom hard adaptation benchmark demonstrate that our method substantially outperforms all competing approaches, highlighting the effectiveness of causality-guided vision-language models for domain-generalizable surgical video understanding.

研究动机与目标

• 解决由于真实标注视频有限而导致的 sim-to-real 域差在手术阶段识别中的影響。
• 开发一个基于 CLIP 的因果启发视觉-语言框架，以学习领域不变表示。
• 引入基于频域的增强和因果抑制损失，以减少非因果偏差。

提出的方法

• 基于 CLIP 的视频-文本对齐，将手术阶段识别视为一个视频-文本匹配任务。
• 引入频域增强，用以扰动高频、非因果线索，同时保留语义。
• 实现因果抑制模块，强制原始表示与频域增强表示之间的相似性并去相关化非因果特征。
• 增加增强对齐损失，以在增强视图之间保持语义一致性。
• 用总损失进行训练，将原始 CLIP 损失、增强对齐损失和抑制损失结合在一起。

实验结果

研究问题

• RQ1 在没有目标域访问的情况下，因果启发组件如何提升跨领域的一致性针对手术阶段识别的能力？
• RQ2 频域增强与因果抑制是否联合提升相对于基线 CLIP 方法的领域转移鲁棒性？
• RQ3 在 SurgVisDom 的硬适应任务中，视觉-语言方法是否能够利用多模态监督超越领域自适应基线？
• RQ4 每个提出组件对整体性能的贡献是什么？

主要发现

• CauCLIP 在 SurgVisDom 硬适应基准的加权 F1、未加权 F1、全局 F1 以及平衡准确度上均达到最先进水平。
• 在所有报告的指标上，其性能优于 Rand、SK、Parakeet、ResNet-50、ViT-B/16 与 SDA-CLIP 等多种基线。
• 消融研究表明因果启发的抑制（L_sup）与频域增强（L_aug）均带来提升，完整模型性能最佳。
• 增强与抑制的组合具有互补收益，提升对样式变换的鲁棒性并强调因果的手术语义。