[论文解读] EndoSLAM Dataset and An Unsupervised Monocular Visual Odometry and Depth Estimation Approach for Endoscopic Videos: Endo-SfMLearner

Kutsev Bengisu Ozyoruk, Guliz Irem Gokceler+13 more|arXiv (Cornell University)|Jun 30, 2020

Robotics and Sensor-Based Localization参考文献 55被引用 5

一句话总结

本文介绍了EndoSLAM数据集，该数据集包含来自离体猪胃肠道器官的内镜视频，附带6D位姿和3D点云真实值。同时提出了Endo-SfMLearner方法，这是一种利用残差网络与空间注意力模块、并结合亮度感知光度损失的无监督单目视觉里程计与深度估计方法。该方法在结肠、胃和小肠上的深度估计与位姿追踪任务中达到当前最优性能，优于SC-SfMLearner和基于形状的光照法方法，在真实与合成数据上均表现出更低的RMSE值。

ABSTRACT

Deep learning techniques hold promise to develop dense topography reconstruction and pose estimation methods for endoscopic videos. However, currently available datasets do not support effective quantitative benchmarking. In this paper, we introduce a comprehensive endoscopic SLAM dataset consisting of 3D point cloud data for six porcine organs, capsule and standard endoscopy recordings as well as synthetically generated data. A Panda robotic arm, two commercially available capsule endoscopes, two conventional endoscopes with different camera properties, and two high precision 3D scanners were employed to collect data from 8 ex-vivo porcine gastrointestinal (GI)-tract organs. In total, 35 sub-datasets are provided with 6D pose ground truth for the ex-vivo part: 18 sub-dataset for colon, 12 sub-datasets for stomach and 5 sub-datasets for small intestine, while four of these contain polyp-mimicking elevations carried out by an expert gastroenterologist. Synthetic capsule endoscopy frames from GI-tract with both depth and pose annotations are included to facilitate the study of simulation-to-real transfer learning algorithms. Additionally, we propound Endo-SfMLearner, an unsupervised monocular depth and pose estimation method that combines residual networks with spatial attention module in order to dictate the network to focus on distinguishable and highly textured tissue regions. The proposed approach makes use of a brightness-aware photometric loss to improve the robustness under fast frame-to-frame illumination changes. To exemplify the use-case of the EndoSLAM dataset, the performance of Endo-SfMLearner is extensively compared with the state-of-the-art. The codes and the link for the dataset are publicly available at https://github.com/CapsuleEndoscope/EndoSLAM. A video demonstrating the experimental setup and procedure is accessible through https://www.youtube.com/watch?v=G_LCe0aWWdQ.

研究动机与目标

• 为解决内镜视频分析中缺乏全面、公开可用的包含6D位姿与3D真实值的数据集的问题。
• 开发一种针对内镜成像条件优化的鲁棒无监督单目视觉里程计与深度估计方法。
• 通过真实与合成数据支持深度学习方法在内镜SLAM中的基准测试。
• 通过注意力机制与损失函数设计，提升在不同内镜纹理与光照变化下的泛化能力。
• 支持未来在微创内镜领域中3D重建、定位与多任务学习的研究。

提出的方法

• 使用Panda机械臂、两台胶囊内镜、两台标准内镜以及两台高精度3D扫描仪，在八个离体猪胃肠道器官上采集了EndoSLAM数据集。
• 该数据集包含35个子数据集，涵盖结肠、胃和小肠的6D位姿真实值、3D点云以及带深度与位姿标注的合成图像。
• Endo-SfMLearner采用带有空间注意力模块的残差网络，以在单目深度与位姿估计过程中聚焦于纹理丰富、可区分的组织区域。
• 提出了一种亮度感知的光度损失，以增强在内镜视频中常见快速光照变化下的鲁棒性。
• 该方法采用无监督学习，利用立体匹配提供的深度监督与帧间位姿一致性进行训练。
• 通过SIFT特征匹配、基于RANSAC的异常值剔除、Tsai-Shah形状-光照法、以及结合Otsu阈值化与OpenCV修复技术的反射抑制方法，实现3D重建。

实验结果

研究问题

• RQ1 单一无监督单目网络是否能在具有不同纹理与光照条件的多样化内镜环境中实现精确的深度与位姿估计？
• RQ2 空间注意力模块的引入在低纹理或高度反光的内镜区域中如何提升性能？
• RQ3 亮度感知光度损失在内镜视频中快速光照变化条件下，能在多大程度上增强方法的鲁棒性？
• RQ4 Endo-SfMLearner在未包含于其训练数据中的器官（如胃与小肠）上表现如何？
• RQ5 合成内镜数据是否能有效支持真实世界内镜SLAM任务中的迁移学习？

主要发现

• 在小肠上，Endo-SfMLearner的RMSE为0.40 cm，优于SC-SfMLearner（1.02 cm）与基于形状的光照法（0.54 cm）。
• 在结肠上，Endo-SfMLearner的RMSE为0.37 cm，低于SC-SfMLearner的0.51 cm与基于形状的光照法的0.86 cm。
• 在Stomach-III上，Endo-SfMLearner的RMSE为0.41 cm，显著低于SC-SfMLearner（1.37 cm）与基于形状的光照法（0.73 cm）。
• 注意力模块在未参与训练的合成结肠、小肠与胃图像上也提升了深度估计性能。
• 基于Endo-SfMLearner深度估计结果的3D重建流程，在Colon-IV、Small Intestine与Stomach-III上的RMSE分别为0.65 cm、0.54 cm与0.73 cm，优于基于规则的方法。
• 消融实验表明，注意力模块增强了对深度变化的敏感性，并提升了在不同纹理差异下的泛化能力，即使未在特定器官上直接进行训练亦然。