[论文解读] Effect of Radiology Report Labeler Quality on Deep Learning Models for Chest X-Ray Interpretation

Saahil Jain, Akshay Smit+2 more|arXiv (Cornell University)|Apr 1, 2021

COVID-19 diagnosis using AI被引用 4

一句话总结

本研究评估了放射科报告标注器质量对胸部X光片深度学习模型性能的影响，结果表明使用更先进的VisualCheXbert标注器可显著提升标签提取准确率及下游图像分类性能。关键发现为：基于VisualCheXbert标签训练的模型，其加权平均AUROC达到0.87，显著优于基于CheXpert和CheXbert标签训练的模型（分别为0.83和0.79）。

ABSTRACT

Although deep learning models for chest X-ray interpretation are commonly trained on labels generated by automatic radiology report labelers, the impact of improvements in report labeling on the performance of chest X-ray classification models has not been systematically investigated. We first compare the CheXpert, CheXbert, and VisualCheXbert labelers on the task of extracting accurate chest X-ray image labels from radiology reports, reporting that the VisualCheXbert labeler outperforms the CheXpert and CheXbert labelers. Next, after training image classification models using labels generated from the different radiology report labelers on one of the largest datasets of chest X-rays, we show that an image classification model trained on labels from the VisualCheXbert labeler outperforms image classification models trained on labels from the CheXpert and CheXbert labelers. Our work suggests that recent improvements in radiology report labeling can translate to the development of higher performing chest X-ray classification models.

研究动机与目标

• 探究放射科报告标注器质量的提升如何影响胸部X光片分类深度学习模型的性能。
• 比较三种最先进的标注器（CheXpert、CheXbert和VisualCheXbert）从放射科报告中提取标签的准确性。
• 评估高级标注器生成的更高质量标签是否能转化为在CheXpert数据集上表现更优的图像分类模型。
• 评估不确定性处理策略（U-Zeros与U-Ones）对标注器性能及下游模型准确率的影响。
• 建立报告标注器质量与端到端胸部X光片分类系统性能之间的因果关系。

提出的方法

• 本研究采用CheXpert数据集，其中包含224,316张胸部X光片，每张图像均标注了8种疾病的专家标签。
• 评估三种放射科报告标注器（CheXpert、CheXbert和VisualCheXbert）从放射科报告中提取准确图像标签的能力。
• 针对CheXpert和CheXbert的不确定预测，采用两种策略进行处理：映射为阴性（U-Zeros）或阳性（U-Ones）。
• 使用DenseNet-121架构在每个标注器生成的标签上训练图像分类模型，训练在3块TITAN-XP GPU上进行。
• 通过非参数百分位数自助法（1000次重复）计算95%置信区间，使用AUROC分数在CheXpert测试集上评估模型性能。
• 通过自助法置信区间比较不同条件下标注器与模型性能的差异，评估性能差异的统计显著性。

实验结果

研究问题

• RQ1 放射科报告标注器的质量是否显著影响胸部X光片图像标签提取的准确性？
• RQ2 不确定性处理策略（U-Zeros与U-Ones）如何影响自动标注器的性能？
• RQ3 放射科报告标注的改进是否能转化为性能更优的深度学习模型用于胸部X光片分类？
• RQ4 基于CheXpert、CheXbert和VisualCheXbert标签训练的模型之间是否存在可测量的性能差距？
• RQ5 使用更先进的标注器（如VisualCheXbert）是否能带来下游图像分类AUROC的统计显著提升？

主要发现

• 在U-Zeros策略下，VisualCheXbert标注器的加权平均F1得分为0.73（95%置信区间：0.71–0.75），显著优于CheXpert（0.50）和CheXbert（0.50）；在U-Ones策略下，其表现同样显著优于CheXpert（0.55）和CheXbert（0.55）。
• 基于VisualCheXbert标签训练的图像分类模型，其加权平均AUROC达到0.87（95%置信区间：0.86–0.89），显著优于基于CheXpert标签训练的模型（0.83）和基于CheXbert标签训练的模型（0.79）。
• 对于罕见病种“Enlarged Cardiom.”（n=253），VisualCheXbert的F1得分为0.73，而CheXbert在U-Ones策略下的F1仅为0.23，凸显其在罕见病种上的鲁棒性。
• 基于VisualCheXbert标签训练的模型在Atelectasis上的AUROC达到0.84，显著高于基于CheXpert标签训练的模型（U-Zeros策略下为0.70），表明其对细微或复杂病灶的检测能力更强。
• 在“Lung Opacity”病种（n=264）上，基于VisualCheXbert的模型AUROC达到0.91，优于CheXpert（0.90）和CheXbert（0.89），表明其在高流行病种中也保持了持续的性能提升。
• 本研究证实，放射科报告标注技术的最新进展可直接转化为深度学习模型在胸部X光片解读中性能的可测量提升。