[论文解读] Self-Supervised Monocular Depth and Ego-Motion Estimation in Endoscopy: Appearance Flow to the Rescue

Shuwei Shao, Zhongcai Pei+5 more|arXiv (Cornell University)|Dec 15, 2021

Advanced Vision and Imaging被引用 7

一句话总结

本文提出一种用于内窥镜单目深度和自身运动估计的自监督框架，引入一种新颖的概念——外观光流（appearance flow），以解决严重亮度波动导致标准亮度恒定假设失效的问题。通过建模动态亮度变化，该方法实现了鲁棒的图像重建，并在基线自监督方法基础上提升了精度，在SCARED、EndoSLAM、SERV-CT和Hamlyn数据集上实现了最先进性能，且在不同患者和相机设置间展现出强大的零样本泛化能力。

ABSTRACT

Recently, self-supervised learning technology has been applied to calculate depth and ego-motion from monocular videos, achieving remarkable performance in autonomous driving scenarios. One widely adopted assumption of depth and ego-motion self-supervised learning is that the image brightness remains constant within nearby frames. Unfortunately, the endoscopic scene does not meet this assumption because there are severe brightness fluctuations induced by illumination variations, non-Lambertian reflections and interreflections during data collection, and these brightness fluctuations inevitably deteriorate the depth and ego-motion estimation accuracy. In this work, we introduce a novel concept referred to as appearance flow to address the brightness inconsistency problem. The appearance flow takes into consideration any variations in the brightness pattern and enables us to develop a generalized dynamic image constraint. Furthermore, we build a unified self-supervised framework to estimate monocular depth and ego-motion simultaneously in endoscopic scenes, which comprises a structure module, a motion module, an appearance module and a correspondence module, to accurately reconstruct the appearance and calibrate the image brightness. Extensive experiments are conducted on the SCARED dataset and EndoSLAM dataset, and the proposed unified framework exceeds other self-supervised approaches by a large margin. To validate our framework's generalization ability on different patients and cameras, we train our model on SCARED but test it on the SERV-CT and Hamlyn datasets without any fine-tuning, and the superior results reveal its strong generalization ability. Code will be available at: \url{https://github.com/ShuweiShao/AF-SfMLearner}.

研究动机与目标

• 解决内窥镜视频中因亮度剧烈波动而违反亮度恒定假设的挑战，该现象在自监督深度与自身运动学习中具有显著影响。
• 克服现有自监督方法在微创手术中因非朗伯反射、相互反射及光照变化而产生的局限性。
• 开发一个统一框架，联合估计深度与自身运动，同时校准外观变化，以提升重建保真度。
• 通过在SCARED上训练并在SERV-CT和Hamlyn数据集上测试（无需微调），证明框架具备强大的泛化能力。
• 提供一种鲁棒且可扩展的解决方案，用于内窥镜增强现实导航与三维重建，且无需依赖标注的RGB-D数据。

提出的方法

• 提出外观光流作为可微表示，用于建模帧间亮度模式的任意变化，从而实现动态图像约束。
• 设计一个包含四个模块的统一自监督框架：结构、运动、外观和对应关系模块，以联合优化深度与自身运动。
• 利用外观光流在图像扭曲过程中估计并校正亮度不一致性，减少光照变化带来的虚假监督信号。
• 引入广义动态图像约束，通过考虑外观位移来放宽对严格亮度恒定假设的依赖。
• 基于预测的深度与自身运动进行基于扭曲的视图合成，并利用外观光流提升重建质量。
• 采用截断符号距离函数（TSDF）与移动立方体算法，从深度预测中实现高质量三维表面重建。

实验结果

研究问题

• RQ1 外观光流能否有效建模并补偿由光照变化和非朗伯反射引起的内窥镜视频中严重亮度波动？
• RQ2 所提出的统一自监督框架在具有挑战性的内窥镜条件下，是否优于现有方法在单目深度与自身运动估计中的表现？
• RQ3 该框架在未见患者和相机设置下，无需微调时的泛化能力达到何种程度？
• RQ4 在缺乏真实标签的情况下，该框架在三维表面重建方面的表现如何，相较于最先进方法？
• RQ5 尽管存在过曝与低纹理区域，该方法能否减轻尺度漂移并保持深度图中的结构细节？

主要发现

• 所提方法在SCARED和EndoSLAM数据集上的表现优于其他自监督方法，展现出更优的深度与自身运动估计精度。
• 在轨迹-1上，该方法的精度更高，且显著减少了尺度漂移，优于基线方法与Monodepth2。
• 在轨迹-2上，该方法保持了高精度，并生成了全局尺度一致的轨迹，而Monodepth2与基线方法则未能实现。
• 在SCARED和Hamlyn数据集上的定性表面重建结果表现出极少失真，且能有效保留组织轮廓等关键解剖特征。
• 当仅在SCARED上训练并在SERV-CT和Hamlyn数据集上测试时，模型展现出有效的域泛化能力，且无需微调。
• 该方法降低了因亮度波动引起的监督模糊性，从而在低纹理、高光照变化区域中实现了更可靠的深度与位姿预测。