[논문 리뷰] Mobile Artificial Intelligence Technology for Detecting Macula Edema and Subretinal Fluid on OCT Scans: Initial Results from the DATUM alpha Study

Stephen G. Odaibo, Mikelson MomPremier외 4명|arXiv (Cornell University)|2019. 02. 08.

Retinal Imaging and Analysis참고 문헌 27인용 수 3

한 줄 요약

이 연구는 스마트폰으로 촬영한 OCT 화면 이미지를 분석하여 망막부종과 망막하 세포질을 감지하는 클라우드 기반 모바일 AI 앱인 Fluid Intelligence의 성능을 평가한다. 283건의 OCT 스캔을 대상으로 한 다기관 후향적 분석에서, 이 AI는 평균 민감도 89.3%와 특이도 81.23%를 기록하여, 부족한 안과 진료를 받는 지역에서의 걸러내기 도구로서의 가능성을 입증하였다.

ABSTRACT

Artificial Intelligence (AI) is necessary to address the large and growing deficit in retina and healthcare access globally. And mobile AI diagnostic platforms running in the Cloud may effectively and efficiently distribute such AI capability. Here we sought to evaluate the feasibility of Cloud-based mobile artificial intelligence for detection of retinal disease. And to evaluate the accuracy of a particular such system for detection of subretinal fluid (SRF) and macula edema (ME) on OCT scans. A multicenter retrospective image analysis was conducted in which board-certified ophthalmologists with fellowship training in retina evaluated OCT images of the macula. They noted the presence or absence of ME or SRF, then compared their assessment to that obtained from Fluid Intelligence, a mobile AI app that detects SRF and ME on OCT scans. Investigators consecutively selected retinal OCTs, while making effort to balance the number of scans with retinal fluid and scans without. Exclusion criteria included poor scan quality, ambiguous features, macula holes, retinoschisis, and dense epiretinal membranes. Accuracy in the form of sensitivity and specificity of the AI mobile App was determined by comparing its assessments to those of the retina specialists. At the time of this submission, five centers have completed their initial studies. This consists of a total of 283 OCT scans of which 155 had either ME or SRF ("wet") and 128 did not ("dry"). The sensitivity ranged from 82.5% to 97% with a weighted average of 89.3%. The specificity ranged from 52% to 100% with a weighted average of 81.23%. CONCLUSION: Cloud-based Mobile AI technology is feasible for the detection retinal disease. In particular, Fluid Intelligence (alpha version), is sufficiently accurate as a screening tool for SRF and ME, especially in underserved areas. Further studies and technology development is needed.

연구 동기 및 목표

• 특히 농촌 및 부족한 지역에서의 망막 전문의 부족 문제를 해결하기 위해.
• 모바일 기기와 클라우드 컴퓨팅을 통해 AI 진단 능력을 배포할 수 있는지의 가능성을 평가하기 위해.
• 전문 안과의사와 비교하여 모바일 AI 앱(Fluid Intelligence)이 OCT 스캔에서 망막부종과 망막하 세포질을 감지하는 정확도를 평가하기 위해.
• 스마트폰으로 촬영한 OCT 화면 이미지가 임상적 걸러내기 목적에 충분한 진단 정확도를 제공할 수 있는지 확인하기 위해.
• 모바일 AI가 조기에 망막 병변을 진단하는 데 있어 확장 가능하고 저비용의 솔루션으로서의 잠재력을 탐색하기 위해.

제안 방법

• 클라우드 호스팅된 머신러닝 모델을 기반으로 한 iOS용 모바일 AI 애플리케이션(Fluid Intelligence)을 개발하였다.
• 사용자는 모니터나 인쇄된 종이에 표시된 OCT 스캔을 스마트폰으로 촬영하여 클라우드 기반 AI 엔진에 업로드한다.
• AI 모델은 딥러닝 기법을 사용하여 망막부종 및 망막하 세포질의 유무를 이미지 분석을 통해 감지한다.
• 이미지의 추적 및 감사 목적을 위해 NoSQL 데이터베이스에 클라우드로 전송된 이미지를 저장하였다.
• 다양한 OCT 스캔 데이터셋으로 모델을 훈련하였으며, 클라우드 기반 재훈련을 통해 지속적인 업데이트가 가능하도록 설계되었다.
• 보드 자격을 취득한 망막 전문의가 기준으로 사용된 다기관 후향적 분석을 실시하였다.

실험 결과

연구 질문

• RQ1 스마트폰으로 촬영한 OCT 스캔 이미지를 사용하는 모바일 AI 앱이 망막부종과 망막하 세포질을 감지하는 데 있어 임상적으로 수용 가능한 민감도와 특이도를 달성할 수 있는가?
• RQ2 이러한 모바일 AI 시스템의 진단 정확도는 다양한 임상 환경과 독자 전문성 수준 간에 일관된가?
• RQ3 실제 임상 환경에서의 이미지 품질, 해상도, 잡음(예: 반사광, 흐림) 등이 AI 성능에 미치는 영향은 어떠한가?
• RQ4 새로운 데이터를 활용하여 클라우드 호스팅된 AI 모델을 시간이 지남에 따라 효과적으로 업데이트하고 개선할 수 있는가? 이 경우 현지 소프트웨어 업데이트가 필요하지 않은가?
• RQ5 모바일 AI는 주요 및 지역 안과 진료 환경에서 불필요한 전문의 상담과 놓친 진단을 얼마나 줄일 수 있는가?

주요 결과

• Fluid Intelligence AI 앱은 5개 기관에서 평균 민감도 89.3%를 기록하여 망막부종 또는 망막하 세포질의 참양성 사례를 강력하게 감지할 수 있음을 나타냈다.
• 가중 평균 특이도는 81.23%였으며, 기관 간 범위는 52%에서 100%까지 다양하여 가짜 양성 반응의 변동성이 있음을 시사했다.
• 민감도는 기관 간 82.5%에서 97%까지 변동하여 병적 사례를 일관되게 식별하는 데 성공했다.
• 큰 융합성 드루센이나 색소상피층 탈리 등 특징이 있는 이미지에서는 가짜 양성이 더 빈번하게 발생했으며, 확장된 데이터셋으로 훈련을 통해 이를 줄일 수 있을 것으로 보인다.
• 저해상도 또는 반사광 등의 이미지 품질 문제로 가짜 양성이 발생하는 경우가 있었으며, 이는 입력 이미지의 기준 향상이 필요함을 시사한다.
• 본 연구는 스마트폰으로 촬영한 OCT 스캔 이미지를 통한 모바일 AI가 부족한 지역에서 진단 능력을 배포하는 데 있어 실현 가능하고 확장 가능한 방법임을 확인하였다.