[논문 리뷰] Instant automatic diagnosis of diabetic retinopathy

Gwenolé Quellec, Mathieu Lamard외 5명|arXiv (Cornell University)|2019. 06. 12.

Retinal Imaging and Analysis참고 문헌 21인용 수 6

한 줄 요약

이 논문은 색채 안구도 영상에서 딥러닝을 사용하여 당뇨성 망막병증(DR)에 대한 즉각적인 자동 진료 시스템인 OphtAI를 제시한다. 이 시스템은 참조 가능한 DR에 대한 AUC 0.989와 시력에 위협이 되는 DR에 대한 AUC 0.997을 기록하며, 유일하게 FDA 승인을 받은 AI 시스템을 능가하는 최신 기술 수준의 성능을 달성했으며, GPU에서 0.3초 이내로 영상을 처리한다.

ABSTRACT

The purpose of this study is to evaluate the performance of the OphtAI system for the automatic detection of referable diabetic retinopathy (DR) and the automatic assessment of DR severity using color fundus photography. OphtAI relies on ensembles of convolutional neural networks trained to recognize eye laterality, detect referable DR and assess DR severity. The system can either process single images or full examination records. To document the automatic diagnoses, accurate heatmaps are generated. The system was developed and validated using a dataset of 763,848 images from 164,660 screening procedures from the OPHDIAT screening program. For comparison purposes, it was also evaluated in the public Messidor-2 dataset. Referable DR can be detected with an area under the ROC curve of AUC = 0.989 in the Messidor-2 dataset, using the University of Iowa's reference standard (95% CI: 0.984-0.994). This is better than the only AI system authorized by the FDA, evaluated in the exact same conditions (AUC = 0.980). OphtAI can also detect vision-threatening DR with an AUC of 0.997 (95% CI: 0.996-0.998) and proliferative DR with an AUC of 0.997 (95% CI: 0.995-0.999). The system runs in 0.3 seconds using a graphics processing unit and less than 2 seconds without. OphtAI is safer, faster and more comprehensive than the only AI system authorized by the FDA so far. Instant DR diagnosis is now possible, which is expected to streamline DR screening and to give easy access to DR screening to more diabetic patients.

연구 동기 및 목표

• 색채 안구도 촬영을 이용한 당뇨성 망막병증의 자동화된 즉각 진료 시스템 개발.
• 특히 유일하게 FDA 승인을 받은 대안과 비교하여 진료 정확도와 속도 향상.
• 참조 가능한 DR과 DR 중증도 수준을 모두 탐지함으로써 종합적인 스크리닝 가능.
• 임상 의사결정 지원을 위한 해석 가능한 히트맵 생성.
• 대규모 실생활 스크리닝 데이터와 공개 벤치마크에서의 시스템 검증.

제안 방법

• OphtAI는 복합 신경망(CNN)의 앙상블을 사용하여 눈의 측면을 식별하고, 참조 가능한 DR을 탐지하며, DR 중증도를 평가한다.
• 시스템은 OPHDIAT 프로그램에서 164,660건의 스크리닝 절차에서 확보한 763,848장의 영상으로 훈련된다.
• 단일 영상과 전체 검진 기록을 모두 처리하여 임상 워크플로우 통합 보장.
• 진단 결과를 국소화하고 시각화하기 위해 주의 기반 히트맵을 생성한다.
• DR 분류에 대해 아이오와 대학교의 기준 기준을 사용하여 평가된다.
• 성능는 수신기 작동 특성 곡선 아래 면적(AUC)으로 측정되며, 95% 신뢰구간이 보고된다.

실험 결과

연구 질문

• RQ1 유일하게 FDA 승인을 받은 시스템과 비교해, AI 시스템이 참조 가능한 당뇨성 망막병증에 대해 뛰어난 진단 성능를 달성할 수 있는가?
• RQ2 최소한의 지연 시간을 제공하여 실시간 임상 적용에 적합한 즉각적인 진료를 제공할 수 있는가?
• RQ3 특히 시력에 위협이 되는 단계와 증식성 단계를 포함한 다양한 DR 중증도 수준에서도 높은 정확도를 유지하는가?
• RQ4 의사의 해석을 지원하기 위해 신뢰할 수 있고 해석 가능한 히트맵을 생성할 수 있는가?
• RQ5 실생활 스크리닝 데이터와 공개 벤치마크 데이터셋 양쪽에서 시스템의 성능은 어떠한가?

주요 결과

• OphtAI는 메시도르-2 데이터셋에서 참조 가능한 DR 탐지에 대해 AUC 0.989(95% 신뢰구간: 0.984–0.994)를 기록하여, FDA 승인 시스템의 AUC 0.980을 초월했다.
• 시력에 위협이 되는 당뇨성 망막병증에 대해 AUC 0.997(95% 신뢰구간: 0.996–0.998)를 기록하여 거의 완벽한 분류 성능를 보였다.
• 증식성 당뇨성 망막병증에 대해 OphtAI는 AUC 0.997(95% 신뢰구간: 0.995–0.999)를 기록하여 뛰어난 민감도와 특이도를 보였다.
• GPU를 사용할 경우 단일 영상 처리 시간이 0.3초 이내이며, GPU 없이도 2초 이내로 처리되어 실시간 스크리닝이 가능하다.
• 주의 기반 히트맵의 통합은 진단의 투명성 향상과 임상적 신뢰도 향상에 기여한다.
• 대규모 OPHDIAT 데이터셋에서의 검증을 통해 다양한 실생활 스크리닝 조건에서도 뛰어난 성능 유지가 확인되었다.