[論文レビュー] Evaluation of an AI System for the Detection of Diabetic Retinopathy from Images Captured with a Handheld Portable Fundus Camera: the MAILOR AI study

Thomas W. Rogers, J. Gonzalez-Bueno+7 more|arXiv (Cornell University)|Aug 18, 2019

Retinal Imaging and Analysis参考文献 7被引用数 4

ひとこと要約

本研究では、実臨床現場におけるハンディ端末型フォンダスカメラから得られた画像を用いて、糖尿病網膜症（DR）を検出するためのPegasus AIシステムの性能を評価した。AIは新生血管性DR（PDR）の検出において優れた性能を示した（AUROC 94.3％）が、基準となるデスクトップカメラデータセットと比較して、参照可能なDR（RDR）の精度が著しく低下した（AUROC 89.4％対98.5％）。これは、移行性が低い、特に軽度のDR段階において、モバイル画像診断環境での性能が制限されることを示している。

ABSTRACT

Objectives: To evaluate the performance of an Artificial Intelligence (AI) system (Pegasus, Visulytix Ltd., UK), at the detection of Diabetic Retinopathy (DR) from images captured by a handheld portable fundus camera. Methods: A cohort of 6,404 patients (~80% with diabetes mellitus) was screened for retinal diseases using a handheld portable fundus camera (Pictor Plus, Volk Optical Inc., USA) at the Mexican Advanced Imaging Laboratory for Ocular Research. The images were graded for DR by specialists according to the Scottish DR grading scheme. The performance of the AI system was evaluated, retrospectively, in assessing Referable DR (RDR) and Proliferative DR (PDR) and compared to the performance on a publicly available desktop camera benchmark dataset. Results: For RDR detection, Pegasus performed with an 89.4% (95% CI: 88.0-90.7) Area Under the Receiver Operating Characteristic (AUROC) curve for the MAILOR cohort, compared to an AUROC of 98.5% (95% CI: 97.8-99.2) on the benchmark dataset. This difference was statistically significant. Moreover, no statistically significant difference was found in performance for PDR detection with Pegasus achieving an AUROC of 94.3% (95% CI: 91.0-96.9) on the MAILOR cohort and 92.2% (95% CI: 89.4-94.8) on the benchmark dataset. Conclusions: Pegasus showed good transferability for the detection of PDR from a curated desktop fundus camera dataset to real-world clinical practice with a handheld portable fundus camera. However, there was a substantial, and statistically significant, decrease in the diagnostic performance for RDR when using the handheld device.

研究の動機と目的

• ハンディキャップフォンダスカメラで撮影された画像から、AIシステム（Pegasus）による糖尿病網膜症の診断性能を評価すること。
• AIの性能を、デスクトップフォンダスカメラから得られた公に利用可能なベンチマークデータセットと比較すること。
• 制御されたベンチマーク環境から実臨床現場への移行における、システムの移行性を評価すること。
• 多様な患者コhortにおいて、AIが参照可能なDR（RDR）および新生血管性DR（PDR）の高感度・高特異度を維持しているかどうかを評価すること。

提案手法

• 6,404名の被験者（約80％が糖尿病性疾患を有する）が、ハンディキャップフォンダスカメラ（Pictor Plus）を用いてスクリーニングされた。
• 網膜画像は、スコットランドDRグレーディング方式に従い、専門家によるグレーディングが基準基準として用いられた。
• Pegasus AIシステムは、同一の画像から参照可能なDR（RDR）および新生血管性DR（PDR）を検出する能力について、後向きに評価された。
• 性能は、受信者操作特性曲線下の面積（AUROC）を用いて測定され、95％信頼区間が報告された。
• AIのMAILORコhortにおける性能は、デスクトップフォンダスカメラから得られた公に利用可能なベンチマークデータセットとの直接比較が行われた。
• 統計的有意性の検定により、2つの画像撮影環境における診断精度の差を評価した。

実験結果

リサーチクエスチョン

• RQ1 Pegasus AIシステムは、ハンディキャップフォンダスカメラから得られた画像を用いた場合、デスクトップカメラのベンチマークデータセットと比較して、参照可能なDR（RDR）検出においてどの程度の性能を示すか？
• RQ2 AIシステムは、ハンディデバイスを用いた実臨床現場において、新生血管性DR（PDR）の診断精度を高く維持できるか？
• RQ3 ハンディキャップフォンダスカメラとデスクトップフォンダスカメラの2つの画像撮影モalityの間で、AIの診断性能に統計的に有意な差が生じるか？
• RQ4 AIシステムの性能は、制御されたベンチマーク環境から実臨床現場への移行において、どの程度の程度で維持されるか？

主な発見

• Pegasus AIシステムは、ハンディキャップフォンダスカメラから得られた画像を用いたMAILORコホートにおいて、参照可能なDR（RDR）検出でAUROC 89.4％（95％CI：88.0–90.7）を達成した。
• この性能は、同じAIシステムがデスクトップフォンダスカメラから得られた公に利用可能なベンチマークデータセットで達成したAUROC 98.5％（95％CI：97.8–99.2）よりも顕著に低かった。
• 新生血管性DR（PDR）検出において、AIはMAILORコホートでAUROC 94.3％（95％CI：91.0–96.9）を達成し、優れた診断性能を示した。
• MAILORコホートとベンチマークデータセットとの間で、PDR検出性能に統計的に有意な差は認められなかった（ベンチマークでのAUROC 92.2％、95％CI：89.4–94.8）。
• 本研究では、デスクトップカメラからハンディキャップフォンダスカメラへの移行に伴い、RDRの診断精度が著しくかつ統計的に有意に低下したことが判明した。
• 結果として、PDR検出においてはAIシステムの良好な移行性が示されたが、実臨床現場におけるハンディデバイス使用時、RDR検出の移行性は限定的であると示唆された。