[論文レビュー] Self-Supervised Learning for Knee Osteoarthritis: Diagnostic Limitations and Prognostic Value of Uncurated Hospital Data

Haresh Rengaraj Rajamohan, Yuxuan Chen+2 more|arXiv (Cornell University)|Mar 26, 2026

Osteoarthritis Treatment and Mechanisms被引用数 0

ひとこと要約

本研究では、膝のレントゲン画像のみの自己教師付き学習（SSL）は微調整時にImageNetと比べて診断効果が限定的である一方、病院データを用いたマルチモーダルな画像-テキスト事前学習は予後予測を改善するがKL評価には効果が限定的であること、外部検証でも予後の改善が示された。

ABSTRACT

This study assesses whether self-supervised learning (SSL) improves knee osteoarthritis (OA) modeling for diagnosis and prognosis relative to ImageNet-pretrained initialization. We compared (i) image-only SSL pretrained on knee radiographs from the OAI, MOST, and NYU cohorts, and (ii) multimodal image-text SSL pretrained on uncurated hospital knee radiographs paired with radiologist impressions. For diagnostic Kellgren-Lawrence (KL) grade prediction, SSL offered mixed results. While image-only SSL improved accuracy during linear probing (frozen encoder), it did not outperform ImageNet pretraining during full fine-tuning. Similarly, multimodal SSL failed to improve grading performance. We attribute this to severe bias in the uncurated hospital pretraining corpus (93% estimated KL grade 3), which limited alignment with the balanced diagnostic task. In contrast, this same multimodal initialization significantly improved prognostic modeling. It outperformed ImageNet baselines in predicting 4-year structural incidence and progression, including on external validation (MOST AUROC: 0.701 vs. 0.599 at 10% labeled data). Overall, while uncurated hospital image-text data may be ineffective for learning diagnosis due to severity bias, it provides a strong signal for prognostic modeling when the downstream task aligns with pretraining data distribution

研究の動機と目的

• 自己教師付き学習（SSL）がImageNet.pretrainingと比較して膝OA診断（KLグレード）および予後を改善するかを評価する。
• 複数コホート（OAI、MOST、NYU）の膝レントゲン画像のみを用いた SSL と、病院レントゲン画像と放射線科所見を用いたマルチモーダル SSL の比較。
• 診断と予後に影響を与えるデータ分布とタスク整合性要因を特定する。
• 医用画像領域を横断した外部検証とコントロール実験を通じて頑健性を検討する。

提案手法

• 膝レントゲン（OAI、MOST、NYU）を用いて画像のみSSLモデルを事前訓練（MoCo、Barlow Twins、ViCReg、CNN-JEPA）。
• NYU病院データの膝レントゲンと放射線科所見をペアリングしたマルチモーダルSSLモデルを事前訓練（ConVIRT、GLORIA）。
• 下流課題をOAI/MOSTで評価：KLグレード診断と4年予後（構造的発生および進行）。
• 固定表現学習（エンコーダ frozen での線形プロービング）と全パラメータ微調整（FT）を、ラベルデータ割合（1%、5%、10% など）で比較。
• SSL実装を検証するため胸部X線領域のコントロール実験を実施し、ドメイン効果を解析。

実験結果

リサーチクエスチョン

• RQ1 膝レントゲンの画像のみSSLは、微調整時にImageNet転移よりKLグレード診断で上回るか。
• RQ2 病院の画像-テキストデータを用いたマルチモーダルSSLは、ImageNetや画像のみSSLと比べてKLグレーディングを改善するか。
• RQ3 マルチモーダル事前学習が4年の構造発生/進行の予後予測に有利で、外部検証にも現れるか。
• RQ4 診断でSSLの利益を抑制するデータ分布とタスク整合性の要因は何か。
• RQ5 胸部X線のコントロール実験は、医用画像領域全体でSSL性能の一般化可能な傾向を支持するか。

主な発見

• 画像のみSSLは線形プロービング精度を向上させるが、KLグレード診断のための全FT時にはImageNetを上回らない。
• 病院の画像-テキストデータを用いたマルチモーダルSSLはKLグレーディングの診断をImageNetと比べて改善しない。
• 予後タスクではマルチモーダルSSLが有意な利益を生み、ラベル付きデータ割合全体と外部 MOST検証（AUROC 0.701対0.599、ラベルデータ10%）でImageNetおよび画像のみSSLを上回る。
• コントロール実験では、膝レントゲンでは画像のみSSLが難しい一方、報告を用いた場合はマルチモーダルSSLが胸部X線分類を改善（ConVIRT対ImageNet）。
• 病院の画像-テキスト事前学習は予後には有利だが、放射線科所見にKLグレード信号が明示的に見られないことやコホート選択の影響で診断グレーディングには限界がある。