[论文解读] Fibro-CoSANet: Pulmonary Fibrosis Prognosis Prediction using a Convolutional Self Attention Network

Zabir Al Nazi, Fazla Rabbi Mashrur+2 more|arXiv (Cornell University)|Apr 13, 2021

Interstitial Lung Diseases and Idiopathic Pulmonary Fibrosis参考文献 27被引用 26

一句话总结

Fibro-CoSANet 是一种新颖的端到端多模态卷积自注意力网络，通过融合胸部 CT 图像和人口统计学数据来预测肺纤维化预后。它通过使用单张 CT 切片、肺体积估计以及注意力增强的特征精炼方法，在 OSIC 数据集上实现了新的最先进改进的 Laplace 对数似然分数 -6.68，实现了高效率和高精度的 FVC 下降斜率预测。

ABSTRACT

Idiopathic pulmonary fibrosis (IPF) is a restrictive interstitial lung disease that causes lung function decline by lung tissue scarring. Although lung function decline is assessed by the forced vital capacity (FVC), determining the accurate progression of IPF remains a challenge. To address this challenge, we proposed Fibro-CoSANet, a novel end-to-end multi-modal learning-based approach, to predict the FVC decline. Fibro-CoSANet utilized CT images and demographic information in convolutional neural network frameworks with a stacked attention layer. Extensive experiments on the OSIC Pulmonary Fibrosis Progression Dataset demonstrated the superiority of our proposed Fibro-CoSANet by achieving the new state-of-the-art modified Laplace Log-Likelihood score of -6.68. This network may benefit research areas concerned with designing networks to improve the prognostic accuracy of IPF. The source-code for Fibro-CoSANet is available at: \url{https://github.com/zabir-nabil/Fibro-CoSANet}.

研究动机与目标

• 通过医学影像和临床数据提高特发性肺纤维化（IPF）预后预测的准确性。
• 通过开发一种稳健的端到端学习框架，应对 IPF 进展的变异性挑战。
• 通过在卷积特征之上集成堆叠自注意力机制，增强 CT 图像中的特征表示。
• 通过将 FVC 下降建模为线性趋势预测而非完整轨迹回归，降低计算开销。
• 展示深度影像特征与浅层人口统计学特征之间多模态融合在 IPF 预后中的有效性。

提出的方法

• Fibro-CoSANet 以每位患者随机选择的一张 CT 切片作为输入，送入卷积神经网络（CNN）主干网络。
• 从所有可用的 CT 扫描中估计肺体积，作为多模态融合的浅层全局特征。
• 对人口统计学特征（年龄、性别、吸烟状态）进行归一化，并与 CNN 处理后的 CT 特征拼接。
• 在融合后的特征上应用堆叠自注意力层，以增强对相关肺部区域的关注并改善表征。
• 通过线性先验假设预测 FVC 趋势的斜率，相比完整回归方法降低了复杂度。
• 使用基于 SVD 的 FVC 斜率计算生成伪标签，通过均方误差损失进行模型训练。

实验结果

研究问题

• RQ1 与完整扫描或多切片方法相比，单张 CT 切片结合人口统计学数据和自注意力机制是否能提升 FVC 进展预测性能？
• RQ2 在 CNN 特征之上堆叠自注意力层是否能提升 IPF 预后预测的性能？
• RQ3 对 FVC 斜率采用线性先验假设是否能在计算成本更低的前提下取得更好或相当的结果？
• RQ4 影像数据与人口统计学数据的多模态融合如何影响模型在 IPF 预后中的泛化能力和鲁棒性？
• RQ5 在 OSIC 数据集这类低数据量场景下，模型复杂度与性能之间的最优平衡是什么？

主要发现

• Fibro-CoSANet 在 OSIC 肺纤维化进展数据集上实现了新的最先进改进的 Laplace 对数似然分数 -6.68，优于先前方法。
• 使用堆叠自注意力模块的 EfficientNet-B2 主干网络表现最佳，得分 -6.68 ± 0.31，RMSE 为 181.5 ± 25.88。
• ResNet-50 和 EfficientNet-B2 搭载注意力层的模型性能优于更深的 ResNet，表明在小样本数据集中存在过拟合风险。
• 使用单张 CT 切片结合肺体积估计显著降低了推理时间和计算成本，同时保持了高精度。
• EfficientNet-B0 计算复杂度最低（0.07 GMacs，4.05M 参数），但表现最差，表明模型容量需与数据量相平衡。
• 添加自注意力模块后，大多数主干网络的性能均得到提升，尤其在 EfficientNet-B1、B2、B3、B4 和 ResNet-50 上表现显著，证实其在特征精炼中的价值。