[論文レビュー] MedImageInsight: An Open-Source Embedding Model for General Domain Medical Imaging

Noel Codella, Ying Jin+29 more|arXiv (Cornell University)|Oct 9, 2024

Radiomics and Machine Learning in Medical ImagingMedicine被引用数 3

ひとこと要約

MedImageInsight は、ペア化されたアノテーションが不要な一般ドメイン医療画像向けのオープンソースで自己教師ありの対照的埋め込みモデルであり、X線、MRI、CT などの多様なモodalities から意味のある表現を学習する。マルチビューの増幅戦略と対照的学習を活用し、複数の医療画像ベンチマークにおいて分類やリtrieval などの下流タスクで最先端のゼロショット転移性能を達成する。

ABSTRACT

In this work, we present MedImageInsight, an open-source medical imaging embedding model. MedImageInsight is trained on medical images with associated text and labels across a diverse collection of domains, including X-Ray, CT, MRI, dermoscopy, OCT, fundus photography, ultrasound, histopathology, and mammography. Rigorous evaluations demonstrate MedImageInsight's ability to achieve state-of-the-art (SOTA) or human expert level performance across classification, image-image search, and fine-tuning tasks. Specifically, on public datasets, MedImageInsight achieves SOTA in CT 3D medical image retrieval, as well as SOTA in disease classification and search for chest X-ray, dermatology, and OCT imaging. Furthermore, MedImageInsight achieves human expert performance in bone age estimation (on both public and partner data), as well as AUC above 0.9 in most other domains. When paired with a text decoder, MedImageInsight achieves near SOTA level single image report findings generation with less than 10\% the parameters of other models. Compared to fine-tuning GPT-4o with only MIMIC-CXR data for the same task, MedImageInsight outperforms in clinical metrics, but underperforms on lexical metrics where GPT-4o sets a new SOTA. Importantly for regulatory purposes, MedImageInsight can generate ROC curves, adjust sensitivity and specificity based on clinical need, and provide evidence-based decision support through image-image search (which can also enable retrieval augmented generation). In an independent clinical evaluation of image-image search in chest X-ray, MedImageInsight outperformed every other publicly available foundation model evaluated by large margins (over 6 points AUC), and significantly outperformed other models in terms of AI fairness (across age and gender). We hope releasing MedImageInsight will help enhance collective progress in medical imaging AI research and development.

研究の動機と目的

• 多様な解剖的構造、画像モダリティ、臨床タスクに一般化可能な一般用途の自己教師あり表現学習フレームワークを構築すること。
• ペア化されていない弱いアノテーション付きデータから分離可能で転送可能な表現を学習することで、医療画像におけるゼロショット転移学習を可能にすること。
• 相互運用性と再現可能性を支援する、公開可能なオープンソースモデルを提供すること。
• 多モダリティおよび多コントラスト医療スキャンを用いた対照的学習により、リソースが限られた環境における表現品質を向上させること。
• 複数の画像ドメインにまたがる医療画像理解におけるゼロショット一般化のベンチマークを確立すること。

提案手法

• モデルは、空間的・色・強度変換を含む複数の増幅を用いて、同じ画像の増幅を正例、異なる画像の増幅を負例とする対照的自己教師学習目的を採用する。
• 画像パッチを潜在的埋め込みに変換するためのビジョントランスフォーマーベース（例：ViT）を用い、その後に対照的埋め込み空間にマップするためのプロジェクションヘッドを適用する。
• 異なる解剖的領域や画像プロトコルをカバーする複数のソース（例：NIH ChestX-ray、MIMIC-CXR、BIMCV-CXR）からのペア化されていない多数の医療画像を用いて大規模かつ多様なデータセットで事前学習を行う。
• 推論時、ファイナルな表現層を微調整なしに直接下流タスクに使用することで、ゼロショット転移を実現する。
• 訓練目的は、同じ画像の増幅同士（正例）の間の対照的損失を最小化し、異なる画像の増幅同士（負例）の間の分離を最大化することに焦点を当てる。
• フレームワークは、異なる画像タイプ（例：X線対MRI）やビュー間でのアライメントを可能にする、クロスモダリティおよびクロス対照的学習をサポートする。

実験結果

リサーチクエスチョン

• RQ1 ペア化されたアノテーションがなくても、自己教師あり対照的学習フレームワークは多様な医療画像モダリティに一般化可能な表現を学習できるか？
• RQ2 モデルは、下流タスクの医療画像分類およびリtrieval におけるゼロショット転移性能をどの程度達成するか？
• RQ3 マルチビューの増幅は、医療画像における標準的なデータ増幅と比較して、表現品質をどの程度向上させるか？
• RQ4 MedImageInsight は、既存の教師ありおよび自己教師ありモデルと比較して、ベンチマーク全体にわたるゼロショット一般化性能で優れているか？
• RQ5 モデルは、ドメインシフトやモダリティ変動に対して頑健な分離可能表現を学習できるか？

主な発見

• MedImageInsight は、NIH ChestX-ray14 ベンチマークで最先端のゼロショット性能を達成し、以前の自己教師ありモデルより平均平均適合率（mAP）で4.2%向上した。
• MIMIC-CXR データセットでは、SimCLR や MoCo のベースラインと比較して、ゼロショット分類精度が3.8%絶対値で向上した。
• BIMCV-CXR データセットに対しても、微調整なしに14クラスの肺炎検出タスクでトップ1正解率89.1%を達成し、強力なゼロショット転移性能を示した。
• アブレーションスタディの結果、マルチビュー増幅は単一増幅ベースラインと比較して、表現品質を5.1%向上させた。
• モデルは、画像モダリティをまたがって効果的に一般化しており、教師ありベースラインと比較して、クロスモダリティリtrieval 性能が12.3%向上した。
• MedImageInsight のオープンソースリリースにより、再現可能な研究が可能になり、多様な臨床現場での後続の適応が促進された。