[论文解读] Depth Reconstruction and Computer-Aided Polyp Detection in Optical Colonoscopy Video Frames

Saad Nadeem, Arie Kaufman|arXiv (Cornell University)|Sep 5, 2016

Advanced Image and Video Retrieval Techniques参考文献 22被引用 11

一句话总结

本文提出了一种基于虚拟结肠镜（VC）训练数据进行深度图估计的计算机辅助检测系统，用于内镜结肠镜检查中的息肉检测。通过利用基于机器学习的RGB-深度字典（在VC数据集上训练），该方法在无需相机参数或几何假设的前提下，从2D内镜结肠镜图像中推断深度信息，实现了84.0%的查全率和83.4%的特异性。

ABSTRACT

We present a computer-aided detection algorithm for polyps in optical colonoscopy images. Polyps are the precursors to colon cancer. In the US alone, more than 14 million optical colonoscopies are performed every year, mostly to screen for polyps. Optical colonoscopy has been shown to have an approximately 25% polyp miss rate due to the convoluted folds and bends present in the colon. In this work, we present an automatic detection algorithm to detect these polyps in the optical colonoscopy images. We use a machine learning algorithm to infer a depth map for a given optical colonoscopy image and then use a detailed pre-built polyp profile to detect and delineate the boundaries of polyps in this given image. We have achieved the best recall of 84.0% and the best specificity value of 83.4%.

研究动机与目标

• 解决由于结肠解剖结构复杂且缺乏三维信息，导致内镜结肠镜检查中息肉漏诊率较高（约25%）的问题。
• 克服传统计算机视觉技术（如基于立体视觉、基于光照形状）在单目、动态结肠镜环境下的局限性。
• 通过利用机器学习和VC衍生的训练数据估计三维深度特征，实现在2D内镜结肠镜图像中准确检测息肉。
• 开发一种鲁棒的、无需相机参数的深度重建与息肉边界勾画方法，适用于内镜视频帧。
• 通过利用可泛化的深度表征，将该框架扩展至其他内镜检查（如支气管镜检查）

提出的方法

• 利用虚拟结肠镜（VC）数据集构建RGB-深度字典，其中深度图由基于3D CT的结肠重建生成。
• 应用基于机器学习的映射方法，将输入的内镜结肠镜（OC）RGB图像映射到对应深度图，使用预训练的RGB-深度字典。
• 利用预先构建的深度图空间中息肉轮廓数据库，基于三维几何特征检测并勾画息肉边界。
• 利用结构相似性及归一化误差度量（NRMSE、HD、SSIM）评估深度图重建质量。
• 在不假设相机内参或结肠刚性几何结构的前提下，将该方法应用于真实OC视频帧。
• 采用类似最近邻匹配的策略，将VC中的深度表征迁移至OC图像，实现密集深度估计。

实验结果

研究问题

• RQ1 能否利用在虚拟结肠镜数据上训练的机器学习模型，从2D内镜结肠镜图像中有效推断出深度图？
• RQ2 在2D结肠镜图像中引入三维几何深度信息在多大程度上提升了息肉检测性能？
• RQ3 该方法在面对内镜成像中视角变化、纹理差异及缺乏相机标定的情况下，其鲁棒性如何？
• RQ4 该深度估计框架能否泛化至结肠镜检查以外的其他内镜检查？
• RQ5 该系统在真实临床视频帧中的息肉检测查全率与特异性表现如何？

主要发现

• 该方法在300帧内镜视频中检测息肉的最优查全率为84.0%，特异性为83.4%，其中包含75个息肉帧和225个正常帧。
• 使用RGB-深度字典进行深度图重建，在理想纹理条件下NRMSE为0.43，HD为0.43，SSIM为0.30。
• 该方法成功实现了无需相机内参或结肠刚性假设的OC图像密集深度图重建。
• 失败案例主要源于息肉与背景之间的纹理相似性，如图9所示，尽管深度估计正确，但息肉未被检测到。
• 该框架展现出良好的泛化潜力，使用同一字典成功将深度估计应用于支气管镜视频帧。
• 该方法优于先前方法（如Hong et al. [15]），后者产生失真重建且无法处理表面视图，如图8所示。