[论文解读] Harvard Glaucoma Detection and Progression: A Multimodal Multitask Dataset and Generalization-Reinforced Semi-Supervised Learning

Luo Yan, Min Shi+3 more|arXiv (Cornell University)|Aug 25, 2023

Retinal Imaging and AnalysisMedicine被引用 3

一句话总结

本文介绍了Harvard-GDP数据集，这是目前公开可用的最大规模多模态数据集，用于基于1,000名患者的3D光学相干断层扫描（OCT）进行青光眼检测与进展预测，并提出了一种新颖的泛化增强半监督学习模型——Pseudo-Supervisor。该模型通过策略网络优化伪标签选择以最小化泛化误差，仅使用一半标注数据即在青光眼检测任务中达到98.58%的AUC，超越了当前最先进方法。

ABSTRACT

Glaucoma is the number one cause of irreversible blindness globally. A major challenge for accurate glaucoma detection and progression forecasting is the bottleneck of limited labeled patients with the state-of-the-art (SOTA) 3D retinal imaging data of optical coherence tomography (OCT). To address the data scarcity issue, this paper proposes two solutions. First, we develop a novel generalization-reinforced semi-supervised learning (SSL) model called pseudo supervisor to optimally utilize unlabeled data. Compared with SOTA models, the proposed pseudo supervisor optimizes the policy of predicting pseudo labels with unlabeled samples to improve empirical generalization. Our pseudo supervisor model is evaluated with two clinical tasks consisting of glaucoma detection and progression forecasting. The progression forecasting task is evaluated both unimodally and multimodally. Our pseudo supervisor model demonstrates superior performance than SOTA SSL comparison models. Moreover, our model also achieves the best results on the publicly available LAG fundus dataset. Second, we introduce the Harvard Glaucoma Detection and Progression (Harvard-GDP) Dataset, a multimodal multitask dataset that includes data from 1,000 patients with OCT imaging data, as well as labels for glaucoma detection and progression. This is the largest glaucoma detection dataset with 3D OCT imaging data and the first glaucoma progression forecasting dataset that is publicly available. Detailed sex and racial analysis are provided, which can be used by interested researchers for fairness learning studies. Our released dataset is benchmarked with several SOTA supervised CNN and transformer deep learning models. The dataset and code are made publicly available via \url{https://ophai.hms.harvard.edu/datasets/harvard-gdp1000}.

研究动机与目标

• 为解决青光眼检测与进展预测中，特别是3D OCT成像这一当前临床标准所面临的严重数据稀缺问题。
• 开发一种半监督学习框架，有效利用未标注临床数据以提升模型泛化能力与性能。
• 创建一个公开可用、大规模、多模态且包含丰富人口统计信息的数据集，以支持青光眼人工智能研究，包括公平性与公平意识学习。
• 使用最先进的深度学习模型，在青光眼检测与纵向进展预测任务上对新数据集与模型进行基准测试。
• 通过在数据集中纳入多样化的种族与性别群体，实现更稳健且公平的AI模型，以支持公平性评估。

提出的方法

• 提出一种名为Pseudo-Supervisor的泛化增强半监督学习模型，利用策略网络从无标签数据中选择高质量伪标签。
• 通过强化学习训练策略网络，以最小化验证集上的泛化误差，从而提升分类器的鲁棒性。
• 采用基于验证性能的奖励函数，引导策略网络选择能增强模型泛化能力的伪标签样本。
• 将Pseudo-Supervisor模型应用于单模态（仅OCT）与多模态（OCT + 视野）设置下的进展预测。
• 结合监督学习与自监督训练，辅以数据增强与一致性正则化，以提升性能。
• 发布Harvard-GDP数据集，包含1,000名患者，其3D OCT扫描、青光眼诊断标签、纵向视野数据及人口统计元数据（种族、性别）。

实验结果

研究问题

• RQ1 通过基于策略的伪标签选择优化泛化误差的半监督学习模型，是否能在青光眼检测与进展预测任务中超越现有最先进半监督学习方法？
• RQ2 当仅使用50%标注数据进行训练时，所提出的Pseudo-Supervisor模型相较于完全监督或其它半监督基线方法，其有效性如何？
• RQ3 在多模态数据（OCT与视野）中，其对进展预测性能的提升程度如何？
• RQ4 鉴于青光眼患病率在不同种族群体中存在差异，Pseudo-Supervisor模型在不同种族与性别群体中的泛化能力如何？
• RQ5 鉴于其人口统计多样性，Harvard-GDP数据集能否作为眼科领域公平意识AI研究的基准？

主要发现

• Pseudo-Supervisor模型在仅使用50%标注数据的情况下，青光眼检测任务中达到98.58%的AUC，显著优于FixMatch与MeanTeacher等最先进半监督学习方法。
• 在LAG视网膜图像数据集上，Pseudo-Supervisor达到98.58%的AUC，表明其在不同成像模态与数据分布间具有强大的泛化能力。
• 在多模态数据上，Pseudo-Supervisor在进展预测任务中分别取得75.17% AUC（TD）与72.65% AUC（MD Fast）的性能，优于基线模型与MeanTeacher模型。
• 消融实验表明，在时间窗口β = 50与折扣率γ = 0.9时性能最优，表明进展预测中具有稳定且一致的时间动态特性。
• 该模型在不同种族群体中表现稳健，AUC分别为0.88（白人）、0.83（黑人）与0.85（亚裔），凸显其在公平意识学习方面的潜力。
• Harvard-GDP数据集是目前最大规模的公开青光眼检测数据集，包含3D OCT扫描，也是首个公开可用的、包含纵向数据的青光眼进展预测数据集。