[论文解读] Depth Anything in Medical Images: A Comparative Study

John Han, Ayberk Acar+2 more|arXiv (Cornell University)|Jan 29, 2024

AI in cancer detection被引用 4

一句话总结

本研究评估了Depth Anything基础模型在医学内窥镜与腹腔镜图像上的零样本性能，将其与通用场景及领域内单目深度估计（MDE）模型进行对比。尽管具备强大的零样本能力，Depth Anything在准确率或速度上并未始终优于先前模型；领域内模型如Endo-Depth和MiDaS在特定解剖序列上表现更优，但Depth Anything在实时应用中展现出有利的推理速度。

ABSTRACT

Monocular depth estimation (MDE) is a critical component of many medical tracking and mapping algorithms, particularly from endoscopic or laparoscopic video. However, because ground truth depth maps cannot be acquired from real patient data, supervised learning is not a viable approach to predict depth maps for medical scenes. Although self-supervised learning for MDE has recently gained attention, the outputs are difficult to evaluate reliably and each MDE's generalizability to other patients and anatomies is limited. This work evaluates the zero-shot performance of the newly released Depth Anything Model on medical endoscopic and laparoscopic scenes. We compare the accuracy and inference speeds of Depth Anything with other MDE models trained on general scenes as well as in-domain models trained on endoscopic data. Our findings show that although the zero-shot capability of Depth Anything is quite impressive, it is not necessarily better than other models in both speed and performance. We hope that this study can spark further research in employing foundation models for MDE in medical scenes.

研究动机与目标

• 评估Depth Anything基础模型在医学内窥镜与腹腔镜场景下的零样本泛化能力。
• 对比Depth Anything与通用场景MDE模型（MiDaS、ZoeDepth）及领域内模型（Endo-SfM、Endo-Depth）在准确率与推理速度上的表现。
• 评估类似Depth Anything的基础模型是否能在无需微调的情况下可靠地泛化至多样化的解剖结构。
• 为未来在医学单目深度估计领域中基础模型的研究提供基准。
• 探索使用预训练基础模型实现实时手术导航与三维重建的可行性。

提出的方法

• 本研究在两个公开医学数据集（EndoSLAM与校正后的Hamlyn数据集）上评估Depth Anything、MiDaS、ZoeDepth、Endo-SfM、Endo-Depth与LapDepth。
• 采用各模型原始预训练权重，未在医学数据上进行任何微调，执行零样本推理。
• 定量指标包括绝对相对误差（Abs. Rel.）、平方相对误差（Sq. Rel.）、均方根误差（RMSE）以及δ1（δ1）以衡量深度准确率。
• 推理速度在Intel i9-13900K CPU与NVIDIA RTX 4090 GPU上测量，输入分辨率为（320, 320）。
• 性能分析涵盖四个代表不同解剖区域的序列：结肠、小肠、胃与直肠。
• 本研究对比各模型表现，突出准确率与速度之间的权衡，并讨论Hamlyn数据集中不完美真实值对性能评估可靠性的影响。

实验结果

研究问题

• RQ1 Depth Anything基础模型在医学内窥镜场景下的零样本性能是否优于通用场景MDE模型？
• RQ2 Depth Anything的零样本性能与专门在内窥镜数据上训练的领域内MDE模型相比如何？
• RQ3 Depth Anything的推理速度相对于其他MDE模型如何？是否适用于实时手术导航系统？
• RQ4 公开医学数据集中真实值深度图的不完善程度在多大程度上影响了性能评估的可靠性？
• RQ5 基础模型如Depth Anything是否能在无需微调的情况下有效泛化至多样化的解剖结构？

主要发现

• 在EndoSLAM数据集上，MiDaS在结肠序列中优于Depth Anything，而Endo-SfMLearner与MiDaS在小肠序列中超越了所有Depth Anything变体。
• 在胃部序列中，DAM-Large在所有模型中准确率最高，其Abs. Rel.为0.078，δ1为0.953。
• 在经校正的Hamlyn数据集中，ZoeDepth与Depth Anything-Indoor/Outdoor表现相近，ZoeDepth在序列1中得分为0.083（Abs. Rel.）与0.949（δ1）。
• Endo-Depth是最快模型，在相同硬件上达到249.38 FPS，优于甚至超过最小的Depth Anything变体（120.34 FPS）。
• ZoeDepth推理时间最长，达82.15 ms（12.17 FPS），但仍处于手术应用的实时能力范围内。
• Hamlyn数据集的真实值深度图被发现存在不完善之处，可能影响性能比较的可靠性，尤其在序列4、19与20中。