[논문 리뷰] AGE Challenge: Angle Closure Glaucoma Evaluation in Anterior Segment Optical Coherence Tomography

Huazhu Fu, Fei Li외 23명|arXiv (Cornell University)|2020. 05. 05.

Glaucoma and retinal disorders참고 문헌 53인용 수 9

한 줄 요약

이 논문은 199명의 환자에서 유래한 4,800장의 정확하게 레이블이 부여된 영상으로 구성된 대규모 공개 AS-OCT 데이터셋인 AGE 챌린지를 제시한다. 이는 각막각막 폐쇄 분류 및 망막막대 위치 특정을 위한 AI 방법 평가를 목적으로 한다. 챌린지는 딥러닝 모델이 높은 정확도를 달성했음을 입증하였으며, 각막막대 위치 특정 시 평균 오차 10 μm, 분류 작업에서는 100% 정확도를 기록하였다. 이는 임상 현장에서 자동화된 녹내람 평가의 강력한 잠재력을 보여준다.

ABSTRACT

Angle closure glaucoma (ACG) is a more aggressive disease than open-angle glaucoma, where the abnormal anatomical structures of the anterior chamber angle (ACA) may cause an elevated intraocular pressure and gradually lead to glaucomatous optic neuropathy and eventually to visual impairment and blindness. Anterior Segment Optical Coherence Tomography (AS-OCT) imaging provides a fast and contactless way to discriminate angle closure from open angle. Although many medical image analysis algorithms have been developed for glaucoma diagnosis, only a few studies have focused on AS-OCT imaging. In particular, there is no public AS-OCT dataset available for evaluating the existing methods in a uniform way, which limits progress in the development of automated techniques for angle closure detection and assessment. To address this, we organized the Angle closure Glaucoma Evaluation challenge (AGE), held in conjunction with MICCAI 2019. The AGE challenge consisted of two tasks: scleral spur localization and angle closure classification. For this challenge, we released a large dataset of 4800 annotated AS-OCT images from 199 patients, and also proposed an evaluation framework to benchmark and compare different models. During the AGE challenge, over 200 teams registered online, and more than 1100 results were submitted for online evaluation. Finally, eight teams participated in the onsite challenge. In this paper, we summarize these eight onsite challenge methods and analyze their corresponding results for the two tasks. We further discuss limitations and future directions. In the AGE challenge, the top-performing approach had an average Euclidean Distance of 10 pixels (10um) in scleral spur localization, while in the task of angle closure classification, all the algorithms achieved satisfactory performances, with two best obtaining an accuracy rate of 100%.

연구 동기 및 목표

• 자동 각막각막 폐쇄 검출 방법 평가를 위한 표준화되고 공개된 AS-OCT 데이터셋의 부족 문제를 해결하기 위해.
• MICCAI 2019에서 열린 챌린지를 통해 딥러닝 모델이 망막막대 위치 특정 및 각막각막 폐쇄 분류의 두 핵심 과제를 평가하기 위해.
• 전안단 OCT 영상 분석에서 AI 모델을 비교 및 벤치마크하기 위한 통합 평가 프레임워크를 수립하기 위해.
• 비침습적 영상 기반으로 조기 각막각막 폐쇄 녹내람을 신뢰할 수 있는 자동 도구 개발을 촉진하기 위해.
• 지속적인 공개 접근을 위해 Grand Challenges 웹사이트를 통해 데이터셋과 평가 플랫폼을 영구적으로 제공함으로써 향후 연구를 지원하기 위해.

제안 방법

• 199명의 환자로부터 확보한 4,800장의 AS-OCT 영상으로 구성된 데이터셋을 공개하였으며, 각 영상에는 망막막대 위치와 각막각막 폐쇄 상태가 레이블링되어 있었다.
• 평가 프레임워크는 두 가지 과제로 구성되었으며, (1) 열지도 회귀를 통한 망막막대 위치 특정, (2) 이진 또는 다중 클래스 레이블을 통한 각막각막 폐쇄 분류였다.
• 참가자들은 딥러닝 모델을 사용하였으며, 대부분의 팀이 분류 작업에 ResNet, SE-Net, EfficientNet, 또는 Res2Net 아키텍처를 활용하였다.
• 망막막대 위치 특정 과제에서는 최고의 성능을 보인 방법들이 다중 스케일 또는 ROI 기반 입력을 사용한 열지도 예측을 활용하였고, 일부는 앙상블 전략을 사용하였다.
• 챌린지는 온라인 및 현장 평가를 병행하였으며, 위치 특정 평가에는 유클리드 거리, 분류 평가에는 정확도 등의 지표를 사용하여 결과를 산정하였다.
• 데이터셋은 Casia SS-1000 OCT 장치를 사용해 확보되었으며, 이는 다른 영상 시스템으로의 일반화 능력에 제한을 둔다.

실험 결과

연구 질문

• RQ1 딥러닝 모델은 AS-OCT 영상에서 망막막대를 자동으로 정확하게 특정할 수 있는가?
• RQ2 AI 모델은 높은 민감도와 특이도로 AS-OCT 스캔에서 각막각막 폐쇄와 개방각을 신뢰성 있게 분류할 수 있는가?
• RQ3 다양한 딥러닝 아키텍처와 앙상블 전략은 망막막대 위치 특정 및 각막각막 폐쇄 분류 과제에서 어떻게 성능을 비교할 수 있는가?
• RQ4 粗-세밀 또는 다중 스케일 특징 추출 기법의 사용이 이 과제에서 모델 성능 향상에 얼마나 기여하는가?
• RQ5 현재의 AI 모델은 정제된 챌린지 데이터셋 외의 실제 임상 데이터에 적용되었을 때 어떤 한계를 지닌다?

주요 결과

• 최고의 성능을 보인 모델은 망막막대 위치 특정에서 평균 유클리드 거리 10 μm(10 픽셀)을 기록하여 높은 공간 정밀도를 입증하였다.
• 모든 분류 알고리즘은 거의 완벽한 성능을 보였으며, 상위 두 모델은 각막각막 폐쇄와 개방각을 구분하는 데 100% 정확도를 달성하였다.
• 앙상블 방법은 망막막대 위치 특정에서 단일 모델을 뛰어넘는 성능 향상을 보이지 않았으며, 이는 한 픽셀 예측에 대해 소규모 ROI 기반 특징이 충분함을 시사한다.
• Res2Net 및 EfficientNet과 같은 고급 아키텍처 기반 모델은 성능 향상을 보였지만, 훈련 데이터가 제한되어 있어 과적합 문제가 여전히 우려되었다.
• 챌린지는 현재 모델들이 제공된 데이터셋에서는 잘 일반화되지만, 실제 인구 집단에서 더 다양한 또는 복잡한 각막각막 폐쇄 형태(AAC)에 대해서는 도전 과제에 직면할 수 있음을 드러냈다.
• 현재 데이터셋은 Casia SS-1000 하나의 OCT 장치에서 확보된 영상에 국한되어 있어, 다른 영상 플랫폼으로의 모델 이식 가능성에 영향을 줄 수 있다.