[论文解读] Addressing catastrophic forgetting for medical domain expansion

Sharut Gupta, Praveer Singh+14 more|arXiv (Cornell University)|Mar 24, 2021

Machine Learning in Healthcare被引用 4

一句话总结

该论文提出了一种新方法，通过结合弹性权重整合（EWC）与批量归一化（BN）统计量的自适应调制，缓解医学领域扩展中的灾难性遗忘问题。该方法在微调不同机构或系统的新医学影像数据时，保持了原始数据集的性能，且在模型鲁棒性和泛化能力方面优于当前最先进方法，具有统计显著性提升。

ABSTRACT

Model brittleness is a key concern when deploying deep learning models in real-world medical settings. A model that has high performance at one institution may suffer a significant decline in performance when tested at other institutions. While pooling datasets from multiple institutions and retraining may provide a straightforward solution, it is often infeasible and may compromise patient privacy. An alternative approach is to fine-tune the model on subsequent institutions after training on the original institution. Notably, this approach degrades model performance at the original institution, a phenomenon known as catastrophic forgetting. In this paper, we develop an approach to address catastrophic forget-ting based on elastic weight consolidation combined with modulation of batch normalization statistics under two scenarios: first, for expanding the domain from one imaging system's data to another imaging system's, and second, for expanding the domain from a large multi-institutional dataset to another single institution dataset. We show that our approach outperforms several other state-of-the-art approaches and provide theoretical justification for the efficacy of batch normalization modulation. The results of this study are generally applicable to the deployment of any clinical deep learning model which requires domain expansion.

研究动机与目标

• 解决在新医学机构或成像系统中部署深度学习模型时面临的灾难性遗忘挑战。
• 开发一种方法，在适应新领域数据时保持对原始数据集的高性能，且无需从头开始重新训练。
• 通过微调而非集中式重新训练，实现增量领域扩展，从而克服隐私和数据共享限制。
• 为批量归一化调制在缓解领域间分布偏移中的有效性提供理论依据。
• 在多机构临床环境中，验证该方法在真实世界深度学习模型部署中的可推广性。

提出的方法

• 应用弹性权重整合（EWC）约束从原始数据集学习到的关键参数的更新，通过参数重要性正则化保留知识。
• 引入批量归一化（BN）统计量的自适应调制——在微调过程中调整运行均值和方差，使内部激活与新领域对齐。
• 将EWC与BN调制结合，联合稳定增量微调过程中源域和目标域的性能。
• 通过跨视图的患者级预测平均，生成最终的患者级乳腺密度评估结果。
• 使用ImageNet预训练的ResNet-50模型，采用交叉熵损失和Adam优化器，配合早停和模型检查点机制进行训练。
• 在训练过程中通过随机翻转和旋转（最多45°）进行数据增强，以提升鲁棒性和泛化能力。

实验结果

研究问题

• RQ1 在新机构的数据上微调医学深度学习模型时，EWC与BN调制的结合是否能有效减轻灾难性遗忘？
• RQ2 与当前最先进方法相比，该方法在保持源域和目标域性能方面表现如何？
• RQ3 BN调制在多大程度上有助于对齐不同成像系统和机构之间的内部特征分布？
• RQ4 该方法是否在保持原始数据集性能的同时，实现了新领域更高的准确率？
• RQ5 在存在隐私限制和异构成像协议的真实临床环境中，该方法是否具备可扩展性和有效性？

主要发现

• 该方法在微调麻省总医院（MGH）数据后，显著优于基线微调和其他最先进方法，在原始DMIST数据集上的性能保持方面表现优异。
• EWC与BN调制的结合在原始DMIST数据集上取得了0.72的Cohen’s Kappa评分，在MGH数据集上达到0.75，表明其在跨领域泛化方面表现强劲。
• 与仅使用EWC或仅使用BN调制相比，该方法表现出显著改进，表明两种技术结合具有协同增益效应。
• 理论分析证实，BN调制能有效减少领域之间的内部协变量偏移，支持其在缓解遗忘中的作用。
• 使用Wilcoxon符号秩检验的统计分析表明，多个评估指标的性能提升在p < 0.05水平上具有统计显著性。
• 即使在不同成像系统（如Hologic与GE）和机构的数据上进行微调，该方法仍保持了高度的模型鲁棒性，验证了其可推广性。