[논문 리뷰] Evaluation of an AI System for the Detection of Diabetic Retinopathy from Images Captured with a Handheld Portable Fundus Camera: the MAILOR AI study

Thomas W. Rogers, J. Gonzalez-Bueno외 7명|arXiv (Cornell University)|2019. 08. 18.

Retinal Imaging and Analysis참고 문헌 7인용 수 4

한 줄 요약

이 연구는 실생활 임상 환경에서 휴대용 망막 카메라로 촬영한 영상 자료를 이용해 당뇨성 망막병변(DR)을 탐지하는 데에 Pegasus AI 시스템의 성능을 평가한다. AI는 확장성 있는 당뇨성 망막병변(PDR) 탐지에 강력한 성능을 보였으나(AUROC 94.3%), 기준으로 사용된 데스크톱 기반 데이터셋 대비 실생활 환경에서의 참조 가능한 DR(RDR) 탐지 정확도가 뚜렷이 떨어져(AUROC 89.4% 대비 98.5%) 이는 이동식 영상 환경에서 경증 단계의 DR에 대한 전이 능력이 떨어짐을 시사한다.

ABSTRACT

Objectives: To evaluate the performance of an Artificial Intelligence (AI) system (Pegasus, Visulytix Ltd., UK), at the detection of Diabetic Retinopathy (DR) from images captured by a handheld portable fundus camera. Methods: A cohort of 6,404 patients (~80% with diabetes mellitus) was screened for retinal diseases using a handheld portable fundus camera (Pictor Plus, Volk Optical Inc., USA) at the Mexican Advanced Imaging Laboratory for Ocular Research. The images were graded for DR by specialists according to the Scottish DR grading scheme. The performance of the AI system was evaluated, retrospectively, in assessing Referable DR (RDR) and Proliferative DR (PDR) and compared to the performance on a publicly available desktop camera benchmark dataset. Results: For RDR detection, Pegasus performed with an 89.4% (95% CI: 88.0-90.7) Area Under the Receiver Operating Characteristic (AUROC) curve for the MAILOR cohort, compared to an AUROC of 98.5% (95% CI: 97.8-99.2) on the benchmark dataset. This difference was statistically significant. Moreover, no statistically significant difference was found in performance for PDR detection with Pegasus achieving an AUROC of 94.3% (95% CI: 91.0-96.9) on the MAILOR cohort and 92.2% (95% CI: 89.4-94.8) on the benchmark dataset. Conclusions: Pegasus showed good transferability for the detection of PDR from a curated desktop fundus camera dataset to real-world clinical practice with a handheld portable fundus camera. However, there was a substantial, and statistically significant, decrease in the diagnostic performance for RDR when using the handheld device.

연구 동기 및 목표

• 휴대용 휴대형 망막 카메라로 촬영한 영상 자료에서 AI 시스템(Pegasus)의 당뇨성 망막병변(DR) 진단 성능을 평가하는 것.
• 데스크톱 망막 카메라에서 확보한 공개 기준 데이터셋과 비교하여 실생활 휴대형 카메라 영상 자료에서 AI의 성능을 평가하는 것.
• 통제된 기준 조건에서의 성능이 실생활 임상 적용으로의 전이 능력을 평가하는 것.
• 다양한 환자 집단에서 AI가 참조 가능한 DR(RDR) 및 확장성 있는 당뇨성 망막병변(PDR)에 대해 높은 민감도와 특이도를 유지하는지 확인하는 것.

제안 방법

• 6,404명의 환자로 구성된 코hort에서 약 80%가 당뇨병성 질환을 앓고 있었으며, 이들은 휴대용 휴대형 망막 카메라(Pictor Plus)를 사용하여 스크리닝되었다.
• 전문가들이 스코틀랜드 DR 등급 기준을 기준 기준으로 삼아 망막 영상의 DR 정도를 평가하였다.
• Pegasus AI 시스템은 동일한 영상 자료에서 참조 가능한 DR(RDR) 및 확장성 있는 당뇨성 망막병변(PDR) 탐지 능력을 후행적으로 평가하였다.
• 성능 평가는 수신기 작동 특성 곡선 아래 면적(AUROC)을 사용하였으며, 95% 신뢰구간을 보고하였다.
• AI의 MAILOR 코hort에서의 성능을 데스크톱 망막 카메라에서 확보한 공개 기준 데이터셋과 직접 비교하였다.
• 통계적 유의성 분석을 통해 두 영상 촬영 방식 간의 진단 정확도 차이를 평가하였다.

실험 결과

연구 질문

• RQ1 휴대용 휴대형 망막 카메라로 촬영한 영상 자료를 사용할 때, Pegasus AI 시스템의 참조 가능한 당뇨성 망막병변(RDR) 탐지 성능은 공개 기준 데스크톱 카메라 데이터셋과 비교해 어떻게 되는가?
• RQ2 휴대형 장치를 사용한 실생활 임상 환경에서 AI 시스템은 확장성 있는 당뇨성 망막병변(PDR)에 대해 높은 진단 정확도를 유지하는가?
• RQ3 휴대형 및 데스크톱 망막 카메라 영상 촬영 방식 간에 AI의 진단 성능에 통계적으로 유의미한 차이가 있는가?
• RQ4 AI 시스템의 성능이 통제된 기준 환경에서 실생활 임상 적용으로의 전이 능력은 어느 정도인가?

주요 결과

• Pegasus AI 시스템은 휴대용 휴대형 망막 카메라로 촬영한 영상 자료를 사용하여 MAILOR 코hort에서 참조 가능한 DR(RDR) 탐지에 대해 AUROC 89.4% (95% CI: 88.0–90.7)의 성능을 기록하였다.
• 이 성능는 데스크톱 망막 카메라에서 확보한 공개 기준 데이터셋에서 동일한 AI 시스템이 기록한 AUROC 98.5% (95% CI: 97.8–99.2)보다 유의미하게 낮았다.
• 확장성 있는 당뇨성 망막병변(PDR) 탐지에 대해 AI는 MAILOR 코hort에서 AUROC 94.3% (95% CI: 91.0–96.9)의 성능을 기록하여 강력한 진단 성능를 보였다.
• MAILOR 코호트와 기준 데이터셋 간의 PDR 탐지 성능에 유의미한 차이가 없었다 (기준 데이터셋에서 AUROC 92.2%, 95% CI: 89.4–94.8).
• 데스크톱에서 휴대형 망막 카메라 영상 촬영 방식으로 전환할 경우, RDR 진단 정확도가 상당하고 통계적으로 유의미하게 감소하는 것으로 나타났다.
• 결과적으로, PDR 탐지에 대해서는 AI 시스템의 전이 능력이 양호한 것으로 나타났지만, 실생활 임상 환경에서 휴대형 장치를 사용할 경우 RDR 탐지에 대해서는 전이 능력이 제한됨을 시사한다.