[论文解读] Bag of Tricks for Long-Tailed Multi-Label Classification on Chest X-Rays

Hong Feng, Tianjie Dai+3 more|arXiv (Cornell University)|Aug 17, 2023

COVID-19 diagnosis using AIMedicine被引用 3

一句话总结

本文提出了一种用于长尾多标签胸部X光片分类的混合视觉-语言框架，通过结合视觉和文本编码器与基于Transformer的查询网络来建模标签相关性。通过整合数据增强、损失重加权、MixUp、测试时增强以及外部数据补充，该方法在ICCV CVAMD 2023 CXR-LT测试集上取得了0.349 mAP的性能，排名前五。

ABSTRACT

Clinical classification of chest radiography is particularly challenging for standard machine learning algorithms due to its inherent long-tailed and multi-label nature. However, few attempts take into account the coupled challenges posed by both the class imbalance and label co-occurrence, which hinders their value to boost the diagnosis on chest X-rays (CXRs) in the real-world scenarios. Besides, with the prevalence of pretraining techniques, how to incorporate these new paradigms into the current framework lacks of the systematical study. This technical report presents a brief description of our solution in the ICCV CVAMD 2023 CXR-LT Competition. We empirically explored the effectiveness for CXR diagnosis with the integration of several advanced designs about data augmentation, feature extractor, classifier design, loss function reweighting, exogenous data replenishment, etc. In addition, we improve the performance through simple test-time data augmentation and ensemble. Our framework finally achieves 0.349 mAP on the competition test set, ranking in the top five.

研究动机与目标

• 解决临床胸部X光片诊断中类别不平衡与标签共现的双重挑战。
• 提升在长尾多标签数据集中对罕见疾病的模型性能。
• 在统一框架中系统评估先进方法（如数据增强、损失重加权和测试时增强）的效果。
• 探索预训练文本编码器与视觉模型的融合，以更好地建模标签相关性。
• 通过模型集成与数据补充，在ICCV CVAMD 2023 CXR-LT竞赛中实现最先进性能。

提出的方法

• 采用双编码器架构：使用ResNet-50或DenseNet-121提取图像特征，使用PubMedBERT或Clinical-T5生成文本标签嵌入。
• 利用多层Transformer解码器，通过图像特征（键/值）关注标签嵌入（查询），实现跨模态交互。
• 应用具有类别特定重加权的交叉熵损失，对罕见疾病进行加权（加权因子为2或3），以缓解长尾偏差。
• 结合Beta(4)分布的MixUp增强方法，以正则化训练过程并提升泛化能力。
• 在测试时增强中采用几何平均融合策略，以提升模型鲁棒性。
• 通过标签空间对齐与未见标签的零抑制策略，利用外部数据集（ChestXRay14和CheXpert）进行训练数据补充。

实验结果

研究问题

• RQ1 数据增强与损失重加权策略的联合应用对长尾多标签胸部X光片分类性能有何影响？
• RQ2 预训练文本编码器在多标签医学影像任务中能在多大程度上提升标签相关性建模能力？
• RQ3 测试时增强与模型集成是否能提升对罕见疾病预测的泛化能力？
• RQ4 从外部胸部X光数据集进行外部数据补充在提升罕见类别性能方面有多有效？
• RQ5 基于视觉-语言Transformer的查询网络是否能在长尾多标签设置下超越标准分类头？

主要发现

• 结合独立分类器、损失重加权（因子2或3）、MixUp以及使用ResNet-50和PubMedBERT的测试时增强（TTA），在验证集上mAP从0.3187提升至0.3280。
• 类别级集成优于模型级集成，在测试集上达到0.348 mAP。
• 最终模型采用类别级集成与来自ChestXRay14和CheXpert的外部数据补充，在测试集上达到0.349 mAP，位列竞赛前五名。
• 外部数据补充通过标签对齐与利用额外训练信号，显著提升了性能，尤其对罕见疾病表现更优。
• 测试时增强结合几何平均融合策略增强了模型鲁棒性并带来性能增益，尤其在难以分类的病例中表现突出。
• 使用PubMedBERT与Clinical-T5作为文本编码器的性能相当，但最终配置中PubMedBERT表现略优。