[論文レビュー] Harvard Glaucoma Detection and Progression: A Multimodal Multitask Dataset and Generalization-Reinforced Semi-Supervised Learning

Luo Yan, Min Shi+3 more|arXiv (Cornell University)|Aug 25, 2023

Retinal Imaging and AnalysisMedicine被引用数 3

ひとこと要約

本論文は、1,000名の患者からなる3次元光学干渉断層画像（OCT）スキャンを用いた緑内障の検出および進行予測に特化した、公開済みで最大規模のマルチモーダルデータセット「Harvard-GDP」を紹介するとともに、一般化誤差を最小化するためのポリシー・ネットワークを用いて擬似ラベル選択を最適化する、新規の一般化強化型半教師あり学習モデル「Pseudo-Supervisor」を提案する。このモデルは、半分のラベル付きデータでの学習でも98.58%のAUCを達成し、最先端の手法を上回る性能を発揮する。

ABSTRACT

Glaucoma is the number one cause of irreversible blindness globally. A major challenge for accurate glaucoma detection and progression forecasting is the bottleneck of limited labeled patients with the state-of-the-art (SOTA) 3D retinal imaging data of optical coherence tomography (OCT). To address the data scarcity issue, this paper proposes two solutions. First, we develop a novel generalization-reinforced semi-supervised learning (SSL) model called pseudo supervisor to optimally utilize unlabeled data. Compared with SOTA models, the proposed pseudo supervisor optimizes the policy of predicting pseudo labels with unlabeled samples to improve empirical generalization. Our pseudo supervisor model is evaluated with two clinical tasks consisting of glaucoma detection and progression forecasting. The progression forecasting task is evaluated both unimodally and multimodally. Our pseudo supervisor model demonstrates superior performance than SOTA SSL comparison models. Moreover, our model also achieves the best results on the publicly available LAG fundus dataset. Second, we introduce the Harvard Glaucoma Detection and Progression (Harvard-GDP) Dataset, a multimodal multitask dataset that includes data from 1,000 patients with OCT imaging data, as well as labels for glaucoma detection and progression. This is the largest glaucoma detection dataset with 3D OCT imaging data and the first glaucoma progression forecasting dataset that is publicly available. Detailed sex and racial analysis are provided, which can be used by interested researchers for fairness learning studies. Our released dataset is benchmarked with several SOTA supervised CNN and transformer deep learning models. The dataset and code are made publicly available via \url{https://ophai.hms.harvard.edu/datasets/harvard-gdp1000}.

研究の動機と目的

• 3次元OCT画像が現在の臨床的基準であるが、その分野における深刻なデータ不足を是正すること。
• 未ラベルの臨床データを効果的に活用してモデルの一般化性能と性能を向上させる半教師あり学習フレームワークの開発。
• 公平性および公平性に配慮した学習を支援するため、研究を促進するための公開可能で大規模かつマルチモーダルで、文化的背景に富んだデータセットの構築。
• 最先端のディープラーニングモデルを用いて、新規データセットとモデルの性能を、緑内障の検出および縦断的進行予測のタスクでベンチマーク化すること。
• 人種的・性別の多様性をデータセットに組み込むことで、より強固で公平性に配慮したAIモデルの実現を図ること。

提案手法

• 一般化誤差を最適化するポリシー・ネットワークを用いて、未ラベルデータから高品質な擬似ラベルを選択する一般化強化型半教師あり学習モデル「Pseudo-Supervisor」を提案。
• バリデーションセットにおける一般化誤差を最適化するように、ポリシー・ネットワークを強化学習で訓練し、分類器のロバスト性を向上。
• バリデーション性能に基づく報酬関数を用いて、モデルの一般化を向上させる擬似ラベル付きサンプルの選択をポリシーがガイド。
• 進行予測のため、単一モーダル（OCTのみ）およびマルチモーダル（OCT＋視野検査）の両設定にPseudo-Supervisorモデルを適用。
• データオーグメンテーションと一貫性正則化を組み合わせた、教師ありおよび自己教師あり学習を用いて性能を向上。
• 1,000名の患者にわたる3次元OCTスキャン、緑内障診断ラベル、縦断的視野検査データ、および文化的背景のメタデータ（人種、性別）を含むHarvard-GDPデータセットを公開。

実験結果

リサーチクエスチョン

• RQ1 ポリシーに基づく擬似ラベル選択により一般化誤差を最適化する半教師あり学習モデルは、既存の最先端のSSL手法を上回る性能を示すか？
• RQ2 Pseudo-Supervisorモデルは、完全にラベル付きのデータではなく50%のラベル付きデータでの学習でも、完全教師あり学習や他のSSLベースラインを上回る性能を示すか？
• RQ3 OCTと視野検査のマルチモーダルデータの統合は、進行予測性能をどの程度向上させるか？
• RQ4 Pseudo-Supervisorモデルは、緑内障の発症率の差が顕著な多様な人種的・性別グループにわたって、どの程度一般化性能を発揮するか？
• RQ5 文化的多様性を備えた本データセットは、眼科分野における公平性に配慮したAI研究のベンチマークとして機能できるか？

主な発見

• Pseudo-Supervisorモデルは、50%のラベル付きデータでの学習でも、緑内障検出で98.58%のAUCを達成し、FixMatch や MeanTeacher などの最先端のSSL手法を大きく上回る性能を示した。
• LAG網膜画像データセットでも、Pseudo-Supervisorは98.58%のAUCを達成し、異なる画像モodalおよびデータ分布に対しても強力な一般化性能を示した。
• 進行予測のタスクでは、マルチモーダルデータで75.17%のAUC（TD）および72.65%のAUC（MD Fast）を達成し、ベースラインおよびMeanTeacherモデルを上回った。
• アブレーションスタディの結果、最適な性能は時間窓β＝50および割引率γ＝0.9で得られ、進行予測における時間的ダイナミクスが安定的かつ一貫していることを示した。
• 人種グループ別に、AUCが0.88（白人）、0.83（黒人）、0.85（アジア系）と、優れた性能を発揮し、公平性に配慮した学習の可能性を示した。
• Harvard-GDPデータセットは、3次元OCTスキャンを用いた緑内障検出分野で最大の公開データセットであり、縦断的データを用いた緑内障進行予測の分野で初の公開可能なデータセットである。