[论文解读] A Multi-Task Self-Normalizing 3D-CNN to Infer Tuberculosis Radiological Manifestations

Pedro M. Gordaliza, J.J. Vaquero+3 more|arXiv (Cornell University)|Jul 29, 2019

COVID-19 diagnosis using AI参考文献 9被引用 3

一句话总结

该论文提出了一种使用SELU激活函数和不确定性加权损失的多任务自归一化3D-CNN，用于从CT扫描中推断结核病的放射学表现，F₁分数超过0.9，结节计数的均方根误差为1.16，优于基线模型，且显著减少了对批量归一化和超参数调优的需求。

ABSTRACT

We propose a learning method well-suited to infer the presence of Tuberculosis (TB) manifestations on Computer Tomography (CT) scans mimicking the radiologist reports. Latent features are extracted from the CT volumes employing the V-Net encoder and those are the input to a Feed-Forward Neural Network (FNN) for multi-class classification. To overtake the issues (e.g., exploding/vanishing gradients, lack of sensibility) that normally appear when training deep 3D models with datasets of limited size and composed of large volumes, our proposal employs: 1) At the network architecture level, the scaled exponential linear unit (SELU) activation which allows the network self-normalization, and 2) at the learning phase, multi-task learning with a loss function weighted by the task homoscedastic uncertainty. The results achieve F1-scores close to or above 0.9 for the detection of TB lesions and a Root Mean Square Error of 1.16 for the number of nodules.

研究动机与目标

• 开发一种深度学习模型，无需依赖病灶分割掩码，即可模拟放射科医生对CT扫描中结核病的报告。
• 解决在小样本、高维CT数据集上训练深层3D-CNN所面临的挑战，如梯度消失/爆炸和敏感性差的问题。
• 减少多任务学习中损失权重手动超参数调优的依赖。
• 通过整合自归一化特性和基于不确定性的损失加权，提升模型泛化能力和收敛性。
• 实现在临床和公共卫生应用中自动化、稳健地提取结核病放射学生物标志物。

提出的方法

• 模型使用V-Net编码器从1×1×2 mm各向同性分辨率的CT扫描中提取3D体素特征。
• 潜在特征输入共享的前馈神经网络（FNN₁），随后通过两个任务特定的FNN分别用于回归（结节计数）和二分类（TB表现）。
• 采用缩放指数线性单元（SELU）作为激活函数，以实现自归一化特性，从而消除对批量归一化的依赖。
• 采用α-丢弃率（alpha-dropout）替代标准丢弃率，以在随机正则化下保持自归一化行为。
• 采用同方差不确定性加权损失函数，在训练过程中动态调整每个任务（回归与二分类）的贡献，提升损失稳定性和收敛性。
• 通过弹性形变和高斯噪声进行数据增强，以提升在有限数据上的鲁棒性。

实验结果

研究问题

• RQ1 自归一化的3D-CNN是否能在无需病灶分割掩码的情况下，有效从CT扫描中推断结核病的放射学表现？
• RQ2 使用SELU激活函数和不确定性加权多任务学习是否能提升在小样本、高维医学影像数据集上的模型收敛性和性能？
• RQ3 与传统的批量归一化和PReLU架构相比，所提出的模型在结核病病灶检测的F₁分数和回归误差方面表现如何？
• RQ4 不确定性加权损失在多任务学习中在多大程度上减少了对任务权重手动超参数调优的需求？
• RQ5 该模型在五折交叉验证中是否能在所有折中保持良好泛化能力，同时在回归和二分类任务上均维持高性能？

主要发现

• 所提出的基于SELU的模型在所有肺叶中对二分类TB表现检测的平均F₁分数达到0.90，各任务F₁分数范围为0.88至0.94。
• 该模型在所有折中对结节计数预测的均方根误差（RMSE）为0.68，显著优于BN+PReLU基线模型（RMSE = 0.78）。
• SELU模型在所有折中均表现出更优的验证损失收敛性，如图2所示损失曲线所示，损失值更稳定且更低。
• 配对t检验未发现模型间存在统计学上显著差异（p > 0.05），表明各折中性能提升具有一致性。
• 该模型在所有折中对“树芽征”（tree in bud）的F₁分数达到0.92，对“实变”（consolidation）为0.91，表明在罕见或细微结核征象上表现强劲。
• 使用SELU和不确定性加权损失减少了对批量归一化的依赖以及对损失权重的手动调优，简化了训练流程并降低了计算复杂度。