[论文解读] Hybrid Inception Architecture with Residual Connection: Fine-tuned Inception-ResNet Deep Learning Model for Lung Inflammation Diagnosis from Chest Radiographs

Mehdi Neshat, Muktar Beshir Ahmed+3 more|arXiv (Cornell University)|Oct 4, 2023

COVID-19 diagnosis using AIMedicine被引用 3

一句话总结

本文提出了一种微调后的 Inception-ResNet-V2 模型，用于从胸部 X 光片中自动诊断肺部炎症，通过结合 Inception 模块与残差连接，提升特征提取能力和计算效率。该模型在 Mendley 数据集上实现了 98.4% 的分类准确率，优于七种最先进 CNN 模型，准确率提升最高达 16.1%。

ABSTRACT

Diagnosing lung inflammation, particularly pneumonia, is of paramount importance for effectively treating and managing the disease. Pneumonia is a common respiratory infection caused by bacteria, viruses, or fungi and can indiscriminately affect people of all ages. As highlighted by the World Health Organization (WHO), this prevalent disease tragically accounts for a substantial 15% of global mortality in children under five years of age. This article presents a comparative study of the Inception-ResNet deep learning model's performance in diagnosing pneumonia from chest radiographs. The study leverages Mendeleys chest X-ray images dataset, which contains 5856 2D images, including both Viral and Bacterial Pneumonia X-ray images. The Inception-ResNet model is compared with seven other state-of-the-art convolutional neural networks (CNNs), and the experimental results demonstrate the Inception-ResNet model's superiority in extracting essential features and saving computation runtime. Furthermore, we examine the impact of transfer learning with fine-tuning in improving the performance of deep convolutional models. This study provides valuable insights into using deep learning models for pneumonia diagnosis and highlights the potential of the Inception-ResNet model in this field. In classification accuracy, Inception-ResNet-V2 showed superior performance compared to other models, including ResNet152V2, MobileNet-V3 (Large and Small), EfficientNetV2 (Large and Small), InceptionV3, and NASNet-Mobile, with substantial margins. It outperformed them by 2.6%, 6.5%, 7.1%, 13%, 16.1%, 3.9%, and 1.6%, respectively, demonstrating its significant advantage in accurate classification.

研究动机与目标

• 通过深度学习提升从胸部放射影像中诊断肺炎的准确率与效率。
• 评估 Inception-ResNet-V2 架构在检测肺部炎症方面相较于其他最先进 CNN 模型的性能表现。
• 研究迁移学习与微调对模型泛化能力及诊断性能的影响。
• 证明混合 Inception 与残差连接在捕捉从低层次到高层次表征的多尺度特征方面的有效性。
• 为临床环境中的早期肺炎检测提供一种强大且计算高效的深度学习解决方案。

提出的方法

• 本研究采用 Inception-ResNet-V2 架构，通过集成 Inception 模块与残差连接，实现深层网络训练并改善梯度流动。
• 采用 ImageNet 预训练权重进行迁移学习，随后在包含 5,856 幅病毒性和细菌性肺炎胸部 X 光片的 Mendley 胸部 X 光数据集上进行微调。
• 通过数据增强技术实现端到端训练，以提升泛化能力并减少过拟合。
• 混合 Inception 架构在每个模块中结合多种卷积滤波器尺寸（1x1、3x3、5x5），以捕捉多样的空间特征。
• 残差连接使网络能够学习恒等映射，缓解深层网络中的梯度消失问题。
• 模型优化包括学习率调度与早停策略，以提升收敛性并防止过拟合。

实验结果

研究问题

• RQ1 Inception-ResNet-V2 模型在从胸部 X 光片中分类肺炎方面的性能，相较于其他最先进 CNN 模型表现如何？
• RQ2 微调在有限的医学影像数据集上对深度学习模型诊断准确率的提升程度如何？
• RQ3 混合 Inception 模块与残差连接在增强肺部炎症检测的特征表示方面有何贡献？
• RQ4 Inception-ResNet-V2 模型在准确率与计算效率方面是否优于 MobileNet、EfficientNet 与 NASNet 变体？
• RQ5 该模型在 Mendley 数据集中对不同肺炎亚型（病毒性与细菌性）的性能表现有多强鲁棒性？

主要发现

• Inception-ResNet-V2 模型在 Mendley 胸部 X 光数据集上实现了 98.4% 的分类准确率，显著优于 ResNet152V2（95.8%）、MobileNet-V3（91.9%）与 EfficientNetV2（85.4%）。
• 该模型较 InceptionV3 提升 16.1 个百分点，较 NASNet-Mobile 提升 3.9 个百分点，证明其在特征提取能力上的优越性。
• 通过迁移学习进行微调显著提升了性能，尤其在小样本且类别不平衡的医学影像数据集上表现突出。
• 混合 Inception 架构结合残差连接有效缩短了训练时间并改善了梯度流动，有助于加快收敛速度。
• 该模型在病毒性与细菌性肺炎病例中均表现出良好的泛化能力，表明对类别差异具有强鲁棒性。
• Inception-ResNet-V2 模型在所有对比模型中取得了最高的 F1 分数与 AUC 值，证实其在临床诊断应用中的可靠性。