[论文解读] Evaluation of an AI System for the Detection of Diabetic Retinopathy from Images Captured with a Handheld Portable Fundus Camera: the MAILOR AI study

Thomas W. Rogers, J. Gonzalez-Bueno+7 more|arXiv (Cornell University)|Aug 18, 2019

Retinal Imaging and Analysis参考文献 7被引用 4

一句话总结

本研究在真实临床环境中评估了Pegasus人工智能系统使用便携式手持眼底相机拍摄的图像检测糖尿病性视网膜病变（DR）的表现。尽管该AI在增殖性DR（AUROC 94.3%）方面表现优异，但其在可转诊DR（RDR）检测中的准确性相比基准桌面图像数据集显著下降（AUROC 89.4% vs. 98.5%），表明在移动成像环境中，AI对较轻度DR阶段的可转移性较差。

ABSTRACT

Objectives: To evaluate the performance of an Artificial Intelligence (AI) system (Pegasus, Visulytix Ltd., UK), at the detection of Diabetic Retinopathy (DR) from images captured by a handheld portable fundus camera. Methods: A cohort of 6,404 patients (~80% with diabetes mellitus) was screened for retinal diseases using a handheld portable fundus camera (Pictor Plus, Volk Optical Inc., USA) at the Mexican Advanced Imaging Laboratory for Ocular Research. The images were graded for DR by specialists according to the Scottish DR grading scheme. The performance of the AI system was evaluated, retrospectively, in assessing Referable DR (RDR) and Proliferative DR (PDR) and compared to the performance on a publicly available desktop camera benchmark dataset. Results: For RDR detection, Pegasus performed with an 89.4% (95% CI: 88.0-90.7) Area Under the Receiver Operating Characteristic (AUROC) curve for the MAILOR cohort, compared to an AUROC of 98.5% (95% CI: 97.8-99.2) on the benchmark dataset. This difference was statistically significant. Moreover, no statistically significant difference was found in performance for PDR detection with Pegasus achieving an AUROC of 94.3% (95% CI: 91.0-96.9) on the MAILOR cohort and 92.2% (95% CI: 89.4-94.8) on the benchmark dataset. Conclusions: Pegasus showed good transferability for the detection of PDR from a curated desktop fundus camera dataset to real-world clinical practice with a handheld portable fundus camera. However, there was a substantial, and statistically significant, decrease in the diagnostic performance for RDR when using the handheld device.

研究动机与目标

• 评估人工智能系统（Pegasus）在使用便携式手持眼底相机拍摄的图像中检测糖尿病性视网膜病变的诊断表现。
• 将AI在真实世界手持相机数据上的表现与公开可用的桌面眼底相机基准数据集进行比较。
• 评估该系统从受控基准环境向真实临床实践的可转移性。
• 确定AI在多样化患者队列中是否能保持对可转诊DR（RDR）和增殖性DR（PDR）的高敏感性和特异性。

提出的方法

• 对6,404名患者（约80%患有糖尿病）使用便携式手持眼底相机（Pictor Plus）进行了筛查。
• 由专家使用苏格兰DR分级方案对视网膜图像进行DR分级，作为参考标准。
• 对Pegasus人工智能系统在相同图像上检测可转诊DR（RDR）和增殖性DR（PDR）的能力进行了回顾性评估。
• 通过受试者工作特征曲线下面积（AUROC）衡量性能，并报告95%置信区间。
• 将AI在MAILOR队列中的表现与公开可用的桌面眼底相机基准数据集中的表现进行直接比较。
• 通过统计学显著性检验，评估两种成像环境下诊断准确性差异。

实验结果

研究问题

• RQ1 与公开基准桌面相机数据集相比，Pegasus人工智能系统在使用便携式手持眼底相机拍摄的图像中检测可转诊糖尿病性视网膜病变（RDR）的表现如何？
• RQ2 在真实临床环境中使用手持设备时，AI系统是否能保持对增殖性糖尿病性视网膜病变（PDR）的高诊断准确性？
• RQ3 AI在手持与桌面眼底相机成像模式下的诊断表现之间是否存在统计学上的显著差异？
• RQ4 AI系统的表现从受控基准环境向真实临床实践的可转移性在多大程度上得以实现？

主要发现

• 在使用便携式手持眼底相机拍摄的图像中，Pegasus人工智能系统在MAILOR队列中检测可转诊DR（RDR）的AUROC为89.4%（95%置信区间：88.0–90.7）。
• 该表现显著低于同一AI系统在公开可用的桌面眼底相机基准数据集上取得的AUROC 98.5%（95%置信区间：97.8–99.2）。
• 在增殖性DR（PDR）检测方面，AI在MAILOR队列中实现了94.3%的AUROC（95%置信区间：91.0–96.9），表现出强劲的诊断性能。
• 在MAILOR队列与基准数据集之间，PDR检测性能无统计学显著差异（基准数据集AUROC为92.2%，95%置信区间：89.4–94.8）。
• 研究发现，从桌面眼底相机成像转向手持眼底相机成像时，RDR诊断准确率出现显著且统计学上显著的下降。
• 结果表明，AI系统在PDR检测方面具有良好的可转移性，但在真实临床环境中使用手持设备进行RDR检测时，可转移性有限。