[논문 리뷰] Self-Supervised Learning for Knee Osteoarthritis: Diagnostic Limitations and Prognostic Value of Uncurated Hospital Data

Haresh Rengaraj Rajamohan, Yuxuan Chen외 2명|arXiv (Cornell University)|2026. 03. 26.

Osteoarthritis Treatment and Mechanisms인용 수 0

한 줄 요약

연구는 무릎 X선에 대한 이미지 전용 자기감독 학습이 미세조정 시 ImageNet에 비해 진단적 이익이 제한적이며, 병원 데이터를 이용한 다중 모달 이미지-텍스트 사전학습은 예후를 개선하지만 KL 등급에는 영향을 주지 않는다는 것을 보여준다. 외부 검증은 예후 이점을 보여준다.

ABSTRACT

This study assesses whether self-supervised learning (SSL) improves knee osteoarthritis (OA) modeling for diagnosis and prognosis relative to ImageNet-pretrained initialization. We compared (i) image-only SSL pretrained on knee radiographs from the OAI, MOST, and NYU cohorts, and (ii) multimodal image-text SSL pretrained on uncurated hospital knee radiographs paired with radiologist impressions. For diagnostic Kellgren-Lawrence (KL) grade prediction, SSL offered mixed results. While image-only SSL improved accuracy during linear probing (frozen encoder), it did not outperform ImageNet pretraining during full fine-tuning. Similarly, multimodal SSL failed to improve grading performance. We attribute this to severe bias in the uncurated hospital pretraining corpus (93% estimated KL grade 3), which limited alignment with the balanced diagnostic task. In contrast, this same multimodal initialization significantly improved prognostic modeling. It outperformed ImageNet baselines in predicting 4-year structural incidence and progression, including on external validation (MOST AUROC: 0.701 vs. 0.599 at 10% labeled data). Overall, while uncurated hospital image-text data may be ineffective for learning diagnosis due to severity bias, it provides a strong signal for prognostic modeling when the downstream task aligns with pretraining data distribution

연구 동기 및 목표

• 자기감독 학습(SSL)이 ImageNet 사전학습에 비해 무릎 OA 진단(KL 등급)과 예후를 향상시키는지 여부를 평가한다.
• 무릎 방사선 사진에서 이미지 전용 SSL 모델을 OAI, MOST, NYU의 여러 코호트로 사전학습하는지 여부와 병원 방사선 사진과 방사선과 의사 소견을 활용한 다중 모달 SSL과 비교한다.
• SSL의 진단 및 예후 효과에 영향을 주는 데이터 분포 및 작업 정렬 요인을 확인한다.
• 의료 영상 도메인 간의 외부 검증 및 대조 실험을 통해 견고성을 탐구한다.]
• method:[

제안 방법

• 무릎 방사선 사진에서 이미지 전용 SSL 모델(MoCo, Barlow Twins, ViCReg, CNN-JEPA)을 OAI, MOST, NYU에서 사전학습한다.
• NYU 병원 무릎 방사선 사진과 방사선과 의사 소견을 페어링한 다중 모달 SSL 모델(ConVIRT, GLORIA)을 사전학습한다.
• OAI/MOST에서 KL-등급 진단 및 4년 예후(구조적 발생 및 진행)를 하위 작업으로 평가한다.
• 고정 인코더를 이용한 선형 탐색과 다양한 레이블 데이터 비율(1%, 5%, 10% 등)에서의 전체 미세조정을 비교한다.
• 대조 실험을 흉부 X선 도메인에서 수행하여 SSL 구현을 검증하고 도메인 효과를 분석한다.]
• research_questions:[

실험 결과

연구 질문

• RQ1 이미지 전용 SSL이 도메인 내 무릎 방사선에서 KL-등급 진단에 대해 ImageNet 전이학습보다 우수한가? 미세조정 하에서.
• RQ2 병원 방사선 사진 및 텍스트를 활용한 다중 모달 SSL이 ImageNet 또는 이미지 전용 SSL과 비교해 KL 등급 진단을 개선할 수 있는가?
• RQ3 다중 모달 사전학습이 4년 구조적 발생/진행에 대한 예후 이점을 제공하고 외부 검증에서의 이점이 있는가?
• RQ4 데이터 분포 및 작업 정렬 요인이 진단에서는 SSL 이점을 제한하는 반면 예후에는 그렇지 않은가?
• RQ5 흉부 방사선 촬영에서의 대조 실험이 의료 영상 도메인 간 SSL 성능의 일반화 패턴을 지지하는가?

주요 결과

• 이미지 전용 SSL은 선형 탐지 정확도를 향상시키지만 KL-등급 진단에 대해 전체 미세조정에서 ImageNet을 능가하지 못한다.
• 병원 이미지-텍스트 데이터를 이용한 다중 모달 SSL은 ImageNet과 비교해 KL 등급 진단을 개선하지 못한다.
• 예후 작업은 다중 모달 SSL에서 상당한 이점을 보이며 레이블 데이터 비율 및 외부 MOST 검증에서 ImageNet 및 이미지 전용 SSL을 능가한다(AUROC 0.701 vs 0.599, 10% 라벨 데이터에서).
• 대조 실험은 이미지 전용 SSL이 무릎 방사선에서 어려움을 보이는 반면, 보고서를 활용하는 경우 ConVIRT가 흉부 X선 분류에서 ImageNet보다 성능을 개선한다.
• 병원 이미지-텍스트 사전학습은 예후에 이점을 주지만 코호트 선택 및 방사선 소견에서 KL 등급 신호의 부재로 진단 등급에 한계가 있다.