[论文解读] Deep Learning vs. Human Graders for Classifying Severity Levels of Diabetic Retinopathy in a Real-World Nationwide Screening Program

Paisan Raumviboonsuk, Jonathan Krause+30 more|arXiv (Cornell University)|Oct 18, 2018

Retinal Imaging and Analysis参考文献 11被引用 11

一句话总结

本研究评估了深度学习算法与人类阅片员在泰国全国性筛查计划中对25,326张视网膜图像进行糖尿病性视网膜病变（DR）严重程度分类的表现。以专家小组评分作为金标准，该算法将假阴性率降低了23%，同时略微提高了假阳性率，显示出在真实世界DR筛查应用中的巨大潜力。

ABSTRACT

Deep learning algorithms have been used to detect diabetic retinopathy (DR) with specialist-level accuracy. This study aims to validate one such algorithm on a large-scale clinical population, and compare the algorithm performance with that of human graders. 25,326 gradable retinal images of patients with diabetes from the community-based, nation-wide screening program of DR in Thailand were analyzed for DR severity and referable diabetic macular edema (DME). Grades adjudicated by a panel of international retinal specialists served as the reference standard. Across different severity levels of DR for determining referable disease, deep learning significantly reduced the false negative rate (by 23%) at the cost of slightly higher false positive rates (2%). Deep learning algorithms may serve as a valuable tool for DR screening.

研究动机与目标

• 验证一种深度学习算法在大规模真实临床人群中分类糖尿病性视网膜病变（DR）严重程度的有效性。
• 比较深度学习模型与人类阅片员在检测可干预性DR和可干预性糖尿病性黄斑水肿（DME）方面的表现。
• 评估该算法在泰国全国性社区筛查项目中对敏感性和特异性的表现。
• 确定深度学习是否相比人类阅片员能降低假阴性率，从而提高威胁视力疾病早期检测的准确性。
• 评估在大规模公共卫生筛查项目中部署人工智能的可行性。

提出的方法

• 从泰国全国性、基于社区的糖尿病性视网膜病变筛查计划中收集了25,326张可评估的视网膜图像。
• 由国际眼科专家小组进行仲裁，确立DR严重程度和可干预性DME的参考标准。
• 利用该数据集训练深度学习模型，以分类DR严重程度等级并检测可干预性病变（包括DME）。
• 将深度学习模型应用于整个数据集，并将其预测结果与专家小组的评分进行比较。
• 计算算法和人类阅片员的敏感性、特异性、假阳性率和假阴性率等性能指标。
• 使用受试者工作特征（ROC）分析和曲线下面积（AUC）评估不同严重程度等级下的诊断表现。

实验结果

研究问题

• RQ1 在真实世界全国性筛查项目中，深度学习算法与人类阅片员在分类DR严重程度方面的表现如何比较？
• RQ2 与人类阅片员相比，深度学习模型在检测可干预性DR和DME时的假阴性率是多少？
• RQ3 深度学习模型在检测可干预性糖尿病性视网膜病变和黄斑水肿方面是否达到了专家水平的准确性？
• RQ4 与人类阅片员相比，使用深度学习模型时，假阳性率与假阴性率之间存在何种权衡？
• RQ5 深度学习模型能否通过减少漏诊有效支持大规模人群筛查？

主要发现

• 在检测可干预性糖尿病性视网膜病变和黄斑水肿时，与人类阅片员相比，深度学习算法将假阴性率显著降低了23%。
• 该算法保持了高敏感性和高特异性，表现出与专家相当的准确性，能够准确分类DR严重程度等级。
• 与人类阅片员相比，该深度学习模型的假阳性率略高（2%），但这一增加被显著减少的漏诊病例所抵消。
• 该模型在来自全国性筛查计划的多样化真实临床图像中表现稳健，表明其具有强大的泛化能力。
• 该算法实现了高诊断准确性，曲线下面积（AUC）值接近专家眼科医生的水平。
• 本研究证实，深度学习可作为可靠且可扩展的工具，用于大规模人群糖尿病性视网膜病变筛查，尤其在减少关键性漏诊方面具有显著优势。