[论文解读] ESFPNet: efficient deep learning architecture for real-time lesion segmentation in autofluorescence bronchoscopic video

Chang Qi, Danish Ahmad+3 more|arXiv (Cornell University)|Jul 15, 2022

Lung Cancer Diagnosis and Treatment被引用 4

一句话总结

ESFPNet 是一种用于自体荧光支气管镜（AFB）视频中自动支气管病变分割的实时深度学习架构，利用预训练的混合Transformer（MiT）编码器和一种高效的分阶段特征金字塔（ESFP）解码器。其平均Dice分数达到0.756，视频处理速度为每秒27帧，支持实际临床中的实时应用。

ABSTRACT

Lung cancer tends to be detected at an advanced stage, resulting in a high patient mortality rate. Thus, much recent research has focused on early disease detection Bronchoscopy is the procedure of choice for an effective noninvasive way of detecting early manifestations (bronchial lesions) of lung cancer. In particular, autofluorescence bronchoscopy (AFB) discriminates the autofluorescence properties of normal (green) and diseased tissue (reddish brown) with different colors. Because recent studies show AFB's high sensitivity in searching lesions, it has become a potentially pivotal method in bronchoscopic airway exams. Unfortunately, manual inspection of AFB video is extremely tedious and error prone, while limited effort has been expended toward potentially more robust automatic AFB lesion analysis. We propose a real-time (processing throughput of 27 frames/sec) deep-learning architecture dubbed ESFPNet for accurate segmentation and robust detection of bronchial lesions in AFB video streams. The architecture features an encoder structure that exploits pretrained Mix Transformer (MiT) encoders and an efficient stage-wise feature pyramid (ESFP) decoder structure. Segmentation results from the AFB airway-exam videos of 20 lung cancer patients indicate that our approach gives a mean Dice index = 0.756 and an average Intersection of Union = 0.624, results that are superior to those generated by other recent architectures. Thus, ESFPNet gives the physician a potential tool for confident real-time lesion segmentation and detection during a live bronchoscopic airway exam. Moreover, our model shows promising potential applicability to other domains, as evidenced by its state-of-the-art (SOTA) performance on the CVC-ClinicDB, ETIS-LaribPolypDB datasets, and superior performance on the Kvasir, CVC-ColonDB datasets.

研究动机与目标

• 通过自动化自体荧光支气管镜（AFB）视频中的病变识别，解决早期肺癌检测的关键需求。
• 克服人工审查AFB视频所存在的繁琐、易出错且耗时的局限性。
• 开发一种实时、精确且鲁棒的深度学习模型，用于AFB视频流中支气管病变的分割。
• 确保模型在支气管镜以外的多样化医学影像领域也具备良好的泛化能力。
• 在不牺牲分割精度的前提下实现高推理速度，支持在实时支气管镜检查中使用。

提出的方法

• 采用受U-Net启发的编码器-解码器架构，使用预训练的混合Transformer（MiT）编码器进行层次化特征提取。
• 设计一种高效的分阶段特征金字塔（ESFP）解码器，以增强多尺度上下文中的特征聚合。
• 引入深度监督，以在解码器的多个阶段提升特征学习和分割精度。
• 采用轻量化、参数高效的组件，在保持高性能的同时维持高推理速度（27 FPS）。
• 在20位肺癌患者提供的208帧病变AFB数据集上端到端训练模型。
• 应用迁移学习和领域自适应技术，以提升在外部息肉分割数据集上的泛化能力。

实验结果

研究问题

• RQ1 深度学习模型能否实现实时、精确的自体荧光支气管镜视频中支气管病变分割？
• RQ2 与当前最先进模型相比，所提出的ESFPNet架构在分割精度和推理速度方面表现如何？
• RQ3 ESFPNet模型在其他医学图像分割任务（如结肠息肉检测）中的泛化能力达到何种程度？
• RQ4 与传统金字塔结构相比，分阶段特征金字塔解码器是否能有效增强特征表示？
• RQ5 在临床AFB视频中训练数据有限的情况下，该模型能否保持高性能？

主要发现

• 在AFB肺癌患者数据集上，ESFPNet的平均Dice分数为0.756，平均交并比（mIoU）为0.624，优于其他近期架构。
• 该模型以每秒27帧的速度处理视频，支持在实时支气管镜检查过程中应用。
• 在CVC-ClinicDB数据集上，ESFPNet-L的mDice为0.949，mIoU为0.907，所有对比模型中排名第一。
• 在Kvasir-SEG数据集上，ESFPNet-L的mDice为0.931，mIoU为0.887，所有测试模型中排名第二。
• 在泛化性测试中，ESFPNet-L在ETIS-LaribPolypDB上的mDice为0.827，mIoU为0.752；在CVC-ColonDB上的mDice为0.823，mIoU为0.741。
• 该模型在多种不同数据集上均表现出色，表明其在医学图像分割任务中具备高度泛化能力和学习能力。