[论文解读] Autonomous Driving in the Lung using Deep Learning for Localization

Jake Sganga, David Eng+2 more|arXiv (Cornell University)|Jul 16, 2019

Advanced Neural Network Applications参考文献 24被引用 7

一句话总结

本文提出 AirwayNet 和 BifurcationNet 两种深度学习模型，利用术前 CT 扫描实现基于视频的支气管镜在患者肺部的实时定位。在模拟支气管镜图像上进行训练，AirwayNet 在体模数据上达到 0.97 的 AUPRC，且在 95% 的试验中实现自主导航，显著提升了活检靶向的准确性。

ABSTRACT

Lung cancer is the leading cause of cancer-related death worldwide, and early diagnosis is critical to improving patient outcomes. To diagnose cancer, a highly trained pulmonologist must navigate a flexible bronchoscope deep into the branched structure of the lung for biopsy. The biopsy fails to sample the target tissue in 26-33% of cases largely because of poor registration with the preoperative CT map. To improve intraoperative registration, we develop two deep learning approaches to localize the bronchoscope in the preoperative CT map based on the bronchoscopic video in real-time, called AirwayNet and BifurcationNet. The networks are trained entirely on simulated images derived from the patient-specific CT. When evaluated on recorded bronchoscopy videos in a phantom lung, AirwayNet outperforms other deep learning localization algorithms with an area under the precision-recall curve of 0.97. Using AirwayNet, we demonstrate autonomous driving in the phantom lung based on video feedback alone. The robot reaches four targets in the left and right lungs in 95% of the trials. On recorded videos in eight human cadaver lungs, AirwayNet achieves areas under the precision-recall curve ranging from 0.82 to 0.997.

研究动机与目标

• 为解决支气管镜活检中因术中与术前 CT 扫描配准不良导致的高失败率（26–33%）问题。
• 开发一种仅依赖视频反馈的实时、基于图像的定位系统，以实现支气管镜的自主导航。
• 克服传统计算机视觉方法在低纹理气道图像中特征追踪困难的局限性。
• 将深度学习与粒子滤波相结合，实现在复杂分支气道结构中的鲁棒定位。
• 展示仅通过内窥镜视觉输入即可实现闭环机器人支气管镜的可行性。

提出的方法

• AirwayNet 使用 ResNet-18 卷积神经网络，从支气管镜视频帧中估计气道特征（如中心线、分叉点），并将其映射到术前 CT 中患者特异性的气道骨架。
• BifurcationNet 采用粒子滤波器，通过评估拟合概率和先验概率，将视频中可见的分叉点与 CT 生成的分叉点匹配，其中先验概率基于插入深度和与先前可见气道的接近程度。
• 拟合概率通过测量气道与 CT 推导出的子气道方向之间夹角余弦差的高斯分布计算，最优旋转对齐通过排列搜索实现。
• 先验概率结合插入深度的可能性、与先前可见气道（1–3代内）的距离以及与先前估计位置和旋转的时空一致性。
• 粒子滤波器选择后验概率最大的分叉点，以实时估计支气管镜在三维空间中的位置和方向。
• 两个模型均仅在从患者特异性 CT 扫描生成的合成支气管镜图像上进行训练，避免了真实数据的采集。

实验结果

研究问题

• RQ1 仅使用内窥镜视频帧，深度学习模型能否实现实时、准确的支气管镜定位？
• RQ2 基于视觉的定位系统能否达到足够精度，以实现在分支气道树中的自主导航？
• RQ3 将粒子滤波器与深度学习结合，如何提升在气道图像中遮挡和模糊特征情况下的鲁棒性？
• RQ4 在体模和尸检模型中，该系统的定位精度和自主导航成功率表现如何？
• RQ5 该系统能否在无需真实世界微调的情况下，泛化到多样的气道解剖结构？

主要发现

• AirwayNet 在体模肺部录制的支气管镜视频上达到 0.97 的精确率-召回率曲线下面积（AUPRC），优于其他基于深度学习的定位方法。
• 使用 AirwayNet，在体模肺部中实现自主导航的成功率达到 95%，成功抵达左肺和右肺的四个预设目标。
• 在八具人体尸检肺部中，AirwayNet 的 AUPRC 值在 0.82 至 0.997 之间，展现出在解剖变异中的强大泛化能力。
• BifurcationNet 的粒子滤波器通过结合拟合概率与空间和时间先验，有效解决了分叉点匹配中的歧义，提升了定位稳定性。
• 该系统可实时运行，仅依赖内窥镜视觉反馈，即可实现闭环控制，适用于机器人支气管镜。
• 完全基于模拟图像训练使系统在无需标注真实支气管镜数据的情况下仍能实现稳健性能。