[论文解读] AGE Challenge: Angle Closure Glaucoma Evaluation in Anterior Segment Optical Coherence Tomography

Huazhu Fu, Fei Li+23 more|arXiv (Cornell University)|May 5, 2020

Glaucoma and retinal disorders参考文献 53被引用 9

一句话总结

本文提出了AGE挑战赛，这是一个大规模、公开可用的AS-OCT数据集，包含来自199名患者的4,800张标注图像，旨在基准化人工智能方法在巩膜突定位和房角关闭分类方面的表现。挑战赛表明，深度学习模型实现了高精度——分类任务准确率达到100%，巩膜突定位的平均误差为10 μm，展示了在临床环境中实现自动青光眼评估的强大潜力。

ABSTRACT

Angle closure glaucoma (ACG) is a more aggressive disease than open-angle glaucoma, where the abnormal anatomical structures of the anterior chamber angle (ACA) may cause an elevated intraocular pressure and gradually lead to glaucomatous optic neuropathy and eventually to visual impairment and blindness. Anterior Segment Optical Coherence Tomography (AS-OCT) imaging provides a fast and contactless way to discriminate angle closure from open angle. Although many medical image analysis algorithms have been developed for glaucoma diagnosis, only a few studies have focused on AS-OCT imaging. In particular, there is no public AS-OCT dataset available for evaluating the existing methods in a uniform way, which limits progress in the development of automated techniques for angle closure detection and assessment. To address this, we organized the Angle closure Glaucoma Evaluation challenge (AGE), held in conjunction with MICCAI 2019. The AGE challenge consisted of two tasks: scleral spur localization and angle closure classification. For this challenge, we released a large dataset of 4800 annotated AS-OCT images from 199 patients, and also proposed an evaluation framework to benchmark and compare different models. During the AGE challenge, over 200 teams registered online, and more than 1100 results were submitted for online evaluation. Finally, eight teams participated in the onsite challenge. In this paper, we summarize these eight onsite challenge methods and analyze their corresponding results for the two tasks. We further discuss limitations and future directions. In the AGE challenge, the top-performing approach had an average Euclidean Distance of 10 pixels (10um) in scleral spur localization, while in the task of angle closure classification, all the algorithms achieved satisfactory performances, with two best obtaining an accuracy rate of 100%.

研究动机与目标

• 为评估自动化房角关闭检测方法，解决缺乏标准化、公开可用的AS-OCT数据集的问题。
• 在MICCAI 2019上组织一项挑战赛，评估深度学习模型在两个关键任务上的表现：巩膜突定位和房角关闭分类。
• 建立统一的评估框架，用于比较和基准化前段OCT图像分析中人工智能模型的表现。
• 推动开发可靠、自动化的工具，用于通过非侵入性影像实现房角关闭性青光眼的早期检测。
• 通过Grand Challenges网站永久公开提供数据集和评估平台，支持未来研究。

提出的方法

• 挑战赛发布了来自199名患者的4,800张AS-OCT图像数据集，每张图像均标注了巩膜突位置和房角关闭状态。
• 评估框架包含两项任务：(1) 使用热图回归进行巩膜突定位，(2) 使用二分类或多分类标签进行房角关闭分类。
• 参赛者使用深度学习模型，大多数团队采用ResNet、SE-Net、EfficientNet或Res2Net架构进行分类任务。
• 在巩膜突定位任务中，表现最佳的方法采用多尺度或感兴趣区域（ROI）输入的热图预测，部分团队使用集成策略。
• 挑战赛采用在线和现场评估方式，使用欧氏距离衡量定位精度，使用准确率衡量分类性能。
• 数据集使用Casia SS-1000 OCT设备获取，限制了其在其他成像系统中的泛化能力。

实验结果

研究问题

• RQ1 深度学习模型能否在AS-OCT图像中实现对巩膜突的高精度自动定位？
• RQ2 人工智能模型能否以高敏感性和特异性可靠地区分AS-OCT扫描中的房角关闭与开放房角？
• RQ3 不同深度学习架构和集成策略在巩膜突定位与房角关闭分类任务中的表现如何比较？
• RQ4 使用从粗到细或多尺度特征提取方法在多大程度上能提升模型在这些任务上的性能？
• RQ5 当将当前人工智能模型应用于超越精心筛选的挑战赛数据集的真实临床数据时，其局限性体现在哪些方面？

主要发现

• 表现最佳的模型在巩膜突定位任务中实现了10 μm（10像素）的平均欧氏距离，表明具有很高的空间精度。
• 所有分类算法均表现出近乎完美的性能，表现最佳的两个模型在区分房角关闭与开放房角任务中准确率达到100%。
• 在巩膜突定位任务中，集成方法并未显著优于单一模型，表明小规模ROI特征已足够实现单像素级别的预测。
• 基于Res2Net和EfficientNet等先进架构的模型表现出改进的性能，但由于训练数据有限，过拟合问题仍令人担忧。
• 挑战赛表明，当前模型在所提供数据集上泛化能力良好，但在面对真实人群中更复杂或多样的房角形态（ACA）时可能面临挑战。
• 目前数据集仅限于单一OCT设备（Casia SS-1000）获取的图像，可能影响模型向其他成像平台的迁移能力。