[논문 리뷰] Harvard Glaucoma Detection and Progression: A Multimodal Multitask Dataset and Generalization-Reinforced Semi-Supervised Learning

Luo Yan, Min Shi외 3명|arXiv (Cornell University)|2023. 08. 25.

Retinal Imaging and AnalysisMedicine인용 수 3

한 줄 요약

이 논문은 1,000명의 환자로부터의 3D 광학 간섭단층촬영(OCT) 스캔을 사용하여 녹내장 진단 및 진행 예측에 최대 규모의 공개 가능 다중모달 데이터셋인 Harvard-GDP를 소개하고, 일반화 오차를 최소화하기 위해 정책 네트워크를 통해 가짜 레이블 선택을 최적화하는 새로운 일반화 강화 반감독 학습 모델인 Pseudo-Supervisor를 제안한다. 이 모델은 반감독 학습을 통해 성능을 향상시키며, 반만 레이블이 붙은 데이터로도 녹내장 진단에서 98.58% AUC를 달성하여 기존 최고 성능(SOTA) 방법을 뛰어넘는다.

ABSTRACT

Glaucoma is the number one cause of irreversible blindness globally. A major challenge for accurate glaucoma detection and progression forecasting is the bottleneck of limited labeled patients with the state-of-the-art (SOTA) 3D retinal imaging data of optical coherence tomography (OCT). To address the data scarcity issue, this paper proposes two solutions. First, we develop a novel generalization-reinforced semi-supervised learning (SSL) model called pseudo supervisor to optimally utilize unlabeled data. Compared with SOTA models, the proposed pseudo supervisor optimizes the policy of predicting pseudo labels with unlabeled samples to improve empirical generalization. Our pseudo supervisor model is evaluated with two clinical tasks consisting of glaucoma detection and progression forecasting. The progression forecasting task is evaluated both unimodally and multimodally. Our pseudo supervisor model demonstrates superior performance than SOTA SSL comparison models. Moreover, our model also achieves the best results on the publicly available LAG fundus dataset. Second, we introduce the Harvard Glaucoma Detection and Progression (Harvard-GDP) Dataset, a multimodal multitask dataset that includes data from 1,000 patients with OCT imaging data, as well as labels for glaucoma detection and progression. This is the largest glaucoma detection dataset with 3D OCT imaging data and the first glaucoma progression forecasting dataset that is publicly available. Detailed sex and racial analysis are provided, which can be used by interested researchers for fairness learning studies. Our released dataset is benchmarked with several SOTA supervised CNN and transformer deep learning models. The dataset and code are made publicly available via \url{https://ophai.hms.harvard.edu/datasets/harvard-gdp1000}.

연구 동기 및 목표

• 3D OCT 영상이 현재 임상 표준이 되고 있음에도 불구하고, 녹내장 진단 및 진행 예측 분야에서의 심각한 데이터 부족 문제를 해결하기 위해.
• 불완전한 레이블을 가진 임상 데이터를 효과적으로 활용하여 모델의 일반화 능력과 성능을 향상시키는 반감독 학습 프레임워크를 개발하기 위해.
• 정의된 인종 및 성별 집단을 포함한 다각적 인구통계학적 정보를 포함한 공개 가능한 대규모 다중모달 데이터셋을 구축하여 녹내장 AI 연구, 특히 공정성 및 공정성 인식 학습을 지원하기 위해.
• 최신 딥러닝 모델을 사용하여 새로운 데이터셋과 모델을 녹내장 진단 및 종단적 진행 예측 과제에서 벤치마킹하기 위해.
• 다양한 인종 및 성별 집단을 데이터셋에 포함시켜 공정성 평가를 가능하게 하고, 더 견고하고 공정한 AI 모델 개발을 위해.

제안 방법

• 일반화 오차를 최소화하기 위해 정책 네트워크를 사용하여 비라벨 데이터에서 고품질의 가짜 레이블을 선택하는 일반화 강화 반감독 학습 모델인 Pseudo-Supervisor를 제안한다.
• 검증 세트에서 일반화 오차를 최적화하기 위해 강화 학습을 통해 정책 네트워크를 훈련시켜 분류기의 강인성을 향상시킨다.
• 검증 성능 기반의 보상 함수를 사용하여 정책이 일반화 능력을 향상시키는 가짜 레이블 샘플을 선택하도록 이끈다.
• 진행 예측에 대해 단일모달(OCT 전용) 및 다중모달(OCT + 시각장) 환경 모두에 Pseudo-Supervisor 모델을 적용한다.
• 데이터 증강 및 일致성 정규화를 통한 감독 학습과 자기지도 학습의 조합을 사용하여 성능을 향상시킨다.
• 1,000명의 환자, 3D OCT 스캔, 녹내장 진단 레이블, 종단적 시각장 데이터, 인구통계학적 메타데이터(인종, 성별)를 포함한 Harvard-GDP 데이터셋을 공개한다.

실험 결과

연구 질문

• RQ1 정책 기반 가짜 레이블 선택을 통해 일반화 오차를 최적화하는 반감독 학습 모델이 기존 최고 성능(SOTA) 반감독 학습 방법보다 녹내장 진단 및 진행 예측에서 뛰어난 성능을 보일 수 있는가?
• RQ2 Pseudo-Supervisor 모델이 레이블이 50%만 있는 데이터로 훈련되었을 때, 완전 감독 학습 또는 다른 반감독 기반 기준 모델 대비 얼마나 효과적인가?
• RQ3 다중모달 데이터(OCT 및 시각장)의 통합이 진행 예측 성능 향상에 어느 정도 기여하는가?
• RQ4 다양한 인종 및 성별 집단 간에 Pseudo-Supervisor 모델의 일반화 능력은 얼마나 뛰어나며, 특히 녹내장 유병률의 격차가 있는 상황에서 어떻게 작용하는가?
• RQ5 다양한 인구통계학적 정보를 포함하고 있어 공정성 인식 AI 연구의 기준이 될 수 있는가?

주요 결과

• Pseudo-Supervisor 모델은 레이블이 반만 있는 데이터로도 녹내장 진단에서 98.58% AUC를 달성하여, FixMatch 및 MeanTeacher와 같은 기존 SOTA 반감독 학습 방법을 뛰어넘는다.
• LAG 망막 영상 데이터셋에서 Pseudo-Supervisor는 98.58% AUC를 기록하여 다양한 영상 모odal 및 데이터 분포 간에도 강력한 일반화 능력을 보여준다.
• 다중모달 데이터를 사용한 진행 예측 과제에서 Pseudo-Supervisor는 TD 기준 75.17% AUC, MD Fast 기준 72.65% AUC를 달성하여 기준 모델 및 MeanTeacher 모델을 모두 능가한다.
• 제거 분석 결과, 시간 창 β = 50 및 할인율 γ = 0.9에서 최적의 성능를 기록하여 진행 예측의 안정적이고 일관된 시간 동적 특성을 나타낸다.
• 모델은 인종 집단 간에 뛰어난 성능를 보이며, 백인(0.88), 흑인(0.83), 아시아계(0.85)의 AUC를 기록하여 공정성 인식 학습 잠재력이 높음을 시사한다.
• Harvard-GDP 데이터셋은 3D OCT 스캔을 사용한 녹내장 진단 분야에서 가장 큰 공개 데이터셋이며, 종단적 데이터를 포함한 녹내장 진행 예측에 대해 공개된 최초의 데이터셋이다.