[论文解读] Contextual Two-Stage U-Nets for Robust Pulmonary Lobe Segmentation in CT Scans of COVID-19 and COPD Patients

Weiyi Xie, Colin Jacobs+2 more|arXiv (Cornell University)|Apr 16, 2020

COVID-19 diagnosis using AI参考文献 47被引用 2

一句话总结

本文提出RTSU-Net，一种具有新颖非局部模块的上下文两阶段U-Net，通过捕捉特征之间的视觉与几何关系，提升COVID-19和COPD患者CT扫描中的肺叶分割性能。该模型在COPDGene数据集上预训练，并在470例COVID-19病例上微调，即使在严重病变的肺部也表现出稳健性能，优于三种基线模型。

ABSTRACT

Pulmonary lobe segmentation in computed tomography scans is essential for regional assessment of pulmonary diseases. Recent works based on convolution neural networks have achieved good performance for this task. However, they are still limited in capturing structured relationships due to the nature of convolution. The shape of the pulmonary lobes affect each other and their borders relate to the appearance of other structures, such as vessels, airways, and the pleural wall. We argue that such structural relationships play a critical role in the accurate delineation of pulmonary lobes when the lungs are affected by diseases such as COVID-19 or COPD. In this paper, we propose a relational approach (RTSU-Net) that leverages structured relationships by introducing a novel non-local neural network module. The proposed module learns both visual and geometric relationships among all convolution features to produce self-attention weights. With a limited amount of training data available from COVID-19 subjects, we initially train and validate RTSU-Net on a cohort of 5000 subjects from the COPDGene study (4000 for training and 1000 for evaluation). Using models pre-trained on COPDGene, we apply transfer learning to retrain and evaluate RTSU-Net on 470 COVID-19 suspects (370 for retraining and 100 for evaluation). Experimental results show that RTSU-Net outperforms three baselines and performs robustly on cases with severe lung infection due to COVID-19.

研究动机与目标

• 解决COVID-19和COPD等严重肺部疾病患者CT扫描中肺叶准确分割的挑战。
• 克服标准卷积网络在建模肺叶与周围解剖结构之间结构关系方面的局限性。
• 利用特征之间的上下文关系——包括视觉与几何关系——以增强病理病例中的分割鲁棒性。
• 通过在大规模COPDGene队列数据上预训练并在有限的COVID-19数据上微调，应用迁移学习以提升泛化能力。
• 开发一种即使在肺部结构因疾病而扭曲时仍能保持高性能的方法。

提出的方法

• 采用两阶段U-Net架构，第一阶段生成初始分割，第二阶段利用上下文特征进行细化。
• 引入一种新颖的非局部神经网络模块，基于所有特征图之间的视觉相似性与几何关系计算自注意力权重。
• 非局部模块在空间位置间聚合特征，建模捕捉肺叶相互依赖关系至关重要的长程依赖性。
• 模型在4,000名COPDGene受试者上预训练，以学习一般肺部解剖结构，随后在370例COVID-19病例上微调以实现疾病特异性适应。
• 应用迁移学习以缓解COVID-19队列中数据稀缺的问题，同时保持泛化能力。
• 在100例独立的COVID-19病例上评估最终模型，以评估其在严重疾病状态下的鲁棒性。

实验结果

研究问题

• RQ1 建模肺叶与周围解剖结构之间的结构关系是否能提升病变更严重的肺部的分割准确性？
• RQ2 非局部注意力机制在捕捉特征之间视觉与几何关系方面对肺叶分割的效率如何？
• RQ3 在大规模COPDGene队列上预训练能在多大程度上提升在较小、病理性的COVID-19数据集上的性能？
• RQ4 与标准U-Net基线相比，所提出方法在因COVID-19导致严重肺部受累的情况下是否仍保持鲁棒性？
• RQ5 从健康肺部数据到病变更严重的肺部数据的迁移学习，是否能在标注数据有限的情况下实现更好的分割性能？

主要发现

• RTSU-Net在COPDGene和COVID-19数据集上的肺叶分割中均优于三种基线模型。
• 该模型在COVID-19导致严重肺部感染的病例中表现出卓越的鲁棒性，病变结构对标准分割方法构成挑战。
• 通过非局部模块整合视觉与几何关系，显著改善了边界勾勒与肺叶一致性。
• 从COPDGene数据进行的迁移学习使模型能有效适应数据有限的COVID-19队列，即使在数据稀缺情况下也实现了高性能。
• 两阶段设计结合上下文细化显著提升了分割精度，尤其在组织对比度模糊的区域。
• 该模型在100例独立的COVID-19测试病例上保持了高性能，证实其在临床相关场景中的可靠性。