[论文解读] Mitigating the Effect of Dataset Bias on Training Deep Models for Chest X-rays.

Yundong Zhang, Hang Wu+3 more|arXiv (Cornell University)|Oct 12, 2019

COVID-19 diagnosis using AI参考文献 34被引用 5

一句话总结

本文通过提出一种新颖的多源域泛化框架，解决了深度学习在胸部X光诊断中数据集偏差的问题。该方法对最大间隔损失进行了改进，以实现更平滑的优化，并引入MCT（多层交叉梯度训练）来模拟未见的数据增强，显著提升了模型在分布外测试集上的泛化能力和鲁棒性。

ABSTRACT

Deep learning has gained tremendous attention on CAD (Computer-aided Diagnosing) application, particularly biomedical imaging analysis. We analyze three large-scale publicly available CXR (Chest X-ray) datasets and find that vanilla training of deep models on diagnosing common Thorax Diseases are subject to dataset bias, leading to severe performance degradation when evaluated on unseen test set. In this work, we frame the problem as multi-source domain generalization task and make two contributions to handle dataset bias: 1. we improve the classical Max-margin loss function by making it more general and smooth; 2. we propose a new training framework named MCT (Multi-layer Cross-gradient Training) for unseen data argumentation. Empirical studies show that our methods significantly improve the model generalization and robustness to dataset bias.

研究动机与目标

• 研究数据集偏差对在公开胸部X光数据集上训练的深度学习模型的影响。
• 解决由于数据分布偏差导致的在未见测试集上性能下降的问题。
• 提升模型在跨数据集评估场景下的泛化能力和鲁棒性。
• 开发一种能够模拟未见数据的训练框架，以实现更好的域泛化。

提出的方法

• 本文重新表述了经典的最大间隔损失，使其更具通用性和平滑性，从而提升优化稳定性。
• 提出MCT（多层交叉梯度训练），一种新颖的训练框架，通过在多个网络层之间利用交叉梯度信号。
• MCT通过在多层间传播梯度，实现合成数据增强，模拟未见的数据分布。
• 该方法将问题视为多源域泛化任务，以增强鲁棒性。
• 该框架端到端训练，以最小化推理过程中域偏移的影响。
• 该方法无需显式的数据增强，而是通过梯度交互生成有效的归纳偏置。

实验结果

研究问题

• RQ1 数据集偏差如何影响在公开胸部X光数据集上训练的深度学习模型的性能？
• RQ2 改进的最大间隔损失函数是否能提升多源域泛化中的优化和泛化能力？
• RQ3 MCT在无需显式数据采样的情况下，能在多大程度上生成有效的数据增强？
• RQ4 所提出的框架如何提升模型在分布外测试集上的鲁棒性？
• RQ5 损失函数改进与训练框架设计在缓解数据集偏差方面，各自的相对贡献如何？

主要发现

• 所提出的MCT框架相较于基线模型，在不同胸部X光数据集上的模型泛化能力显著提升。
• 改进的最大间隔损失带来了更平滑的优化过程和更好的收敛性。
• 实证结果表明，改进损失与MCT的结合在未见测试集上表现出更优的性能。
• 模型对域偏移表现出鲁棒性，表明其对数据集特异性偏差的敏感性降低。
• 该方法在跨数据集评估中优于标准训练协议，证实了其在域泛化中的有效性。
• 该框架在无需显式数据增强的情况下实现了更好的泛化，其依赖于基于梯度的数据模拟。