[论文解读] Holistic Interstitial Lung Disease Detection using Deep Convolutional Neural Networks: Multi-label Learning and Unordered Pooling

Mingchen Gao, Ziyue Xu+4 more|arXiv (Cornell University)|Jan 19, 2017

COVID-19 diagnosis using AI参考文献 27被引用 9

一句话总结

该论文提出了一种整体性、多标签的深度学习框架，可直接从完整CT切片中检测多种间质性肺病（ILD）表型——磨玻璃样、网状、蜂窝样及肺气肿，无需人工标注感兴趣区域（ROI）。该方法采用基于二元交叉熵损失的多标签分类与基于鲁棒范数损失的多标签回归，并结合Fisher向量编码对CNN特征进行无序池化，实现了在658例患者数据集上的高AUC（最高达0.988）与F1分数（最高达0.936），单切片推理时间低于0.01秒。

ABSTRACT

Accurately predicting and detecting interstitial lung disease (ILD) patterns given any computed tomography (CT) slice without any pre-processing prerequisites, such as manually delineated regions of interest (ROIs), is a clinically desirable, yet challenging goal. The majority of existing work relies on manually-provided ILD ROIs to extract sampled 2D image patches from CT slices and, from there, performs patch-based ILD categorization. Acquiring manual ROIs is labor intensive and serves as a bottleneck towards fully-automated CT imaging ILD screening over large-scale populations. Furthermore, despite the considerable high frequency of more than one ILD pattern on a single CT slice, previous works are only designed to detect one ILD pattern per slice or patch. To tackle these two critical challenges, we present multi-label deep convolutional neural networks (CNNs) for detecting ILDs from holistic CT slices (instead of ROIs or sub-images). Conventional single-labeled CNN models can be augmented to cope with the possible presence of multiple ILD pattern labels, via 1) continuous-valued deep regression based robust norm loss functions or 2) a categorical objective as the sum of element-wise binary logistic losses. Our methods are evaluated and validated using a publicly available database of 658 patient CT scans under five-fold cross-validation, achieving promising performance on detecting four major ILD patterns: Ground Glass, Reticular, Honeycomb, and Emphysema. We also investigate the effectiveness of a CNN activation-based deep-feature encoding scheme using Fisher vector encoding, which treats ILD detection as spatially-unordered deep texture classification.

研究动机与目标

• 解决临床中对无需人工ROI标注的全自动、大规模ILD筛查的需求。
• 克服现有基于图像块的方法仅能检测每个区域单一ILD表型且需耗时预处理的局限性。
• 通过整体输入实现单张CT切片上多种共现ILD表型的同步检测。
• 通过引入类别平衡与无序特征编码，提升模型的鲁棒性与泛化能力。
• 开发一种计算高效的方法，适用于临床环境中的实时筛查。

提出的方法

• 使用端到端的深度卷积神经网络（CNN）直接对完整CT切片进行分类，跳过ROI提取步骤。
• 通过逐元素二元交叉熵损失实现多标签分类，将每种ILD表型建模为独立的二分类预测。
• 探索基于鲁棒范数（如Huber损失）的连续值损失函数的多标签回归方法，以同时处理多个标签。
• 应用Fisher向量（FV）编码将CNN激活图池化为无序、紧凑的深度特征表示，提升纹理分类性能。
• 通过加权损失函数（β因子）实现类别平衡，缓解少数类样本的欠采样问题，提升F1分数。
• 在包含658例患者CT扫描的公开数据集上，采用五折交叉验证对模型进行验证，每一切片均配有ILD标签。

实验结果

研究问题

• RQ1 深度CNN模型是否能在无需人工标注ROI的情况下，准确检测单张CT切片上的多种ILD表型？
• RQ2 与标准多标签分类相比，基于鲁棒范数损失的多标签回归在性能与鲁棒性方面表现如何？
• RQ3 与标准的空间有序特征池化相比，通过Fisher向量编码实现的无序池化在多大程度上提升了检测精度？
• RQ4 类别平衡在提升罕见ILD表型（如蜂窝样）的F1分数方面效果如何？
• RQ5 整体性方法是否能在保持高诊断准确率的同时实现近实时推理速度？

主要发现

• 所提出的整体性多标签分类模型在肺气肿上的F1分数达到0.936，在磨玻璃样表型上达到0.883，所有四种ILD表型的AUC均超过0.98。
• 采用鲁棒范数损失的多标签回归方法整体F1分数达到0.823，优于单标签基线模型，并在标签噪声环境下表现出更强的鲁棒性。
• 类别平衡使整体F1分数提升了约5%，其中对罕见表型蜂窝样改善最为显著（F1分数从0.431提升至0.507）。
• 整体方法每张CT切片处理时间低于0.01秒，而基于图像块的方法平均耗时22.64秒，显著支持大规模数据集的近实时筛查。
• Fisher向量编码显著提升了性能，通过捕捉对空间布局不敏感的纹理模式，优于标准空间池化方法在多标签检测任务中的表现。
• 该方法成功检测到单张切片上共现的多种ILD表型，展现出超越单标签检测范式的临床相关性。