[論文レビュー] Evaluating General Purpose Vision Foundation Models for Medical Image Analysis: An Experimental Study of DINOv2 on Radiology Benchmarks

Mohammed Baharoon, Waseem Qureshi+4 more|arXiv (Cornell University)|Dec 4, 2023

Radiomics and Machine Learning in Medical Imaging被引用数 8

ひとこと要約

この研究は、自己教師付きの汎用ビジョン基盤モデルであるDINOv2を、X線、CT、MRI に跨る放射線診断タスク（分類とセグメンテーション）で評価し、教師あり、自己教師付き、弱教師付きのベースラインと比較し、few-shotとパラメータ効率型微調整を検討する。

ABSTRACT

The integration of deep learning systems into healthcare has been hindered by the resource-intensive process of data annotation and the inability of these systems to generalize to different data distributions. Foundation models, which are models pre-trained on large datasets, have emerged as a solution to reduce reliance on annotated data and enhance model generalizability and robustness. DINOv2 is an open-source foundation model pre-trained with self-supervised learning on 142 million curated natural images that exhibits promising capabilities across various vision tasks. Nevertheless, a critical question remains unanswered regarding DINOv2's adaptability to radiological imaging, and whether its features are sufficiently general to benefit radiology image analysis. Therefore, this study comprehensively evaluates the performance DINOv2 for radiology, conducting over 200 evaluations across diverse modalities (X-ray, CT, and MRI). To measure the effectiveness and generalizability of DINOv2's feature representations, we analyze the model across medical image analysis tasks including disease classification and organ segmentation on both 2D and 3D images, and under different settings like kNN, few-shot learning, linear-probing, end-to-end fine-tuning, and parameter-efficient fine-tuning. Comparative analyses with established supervised, self-supervised, and weakly-supervised models reveal DINOv2's superior performance and cross-task generalizability. The findings contribute insights to potential avenues for optimizing pre-training strategies for medical imaging and enhancing the broader understanding of DINOv2's role in bridging the gap between natural and radiological image analysis. Our code is available at https://github.com/MohammedSB/DINOv2ForRadiology

研究の動機と目的

• foundationモデルを用いて医用画像におけるラベル付けデータの必要性を削減し、クロスドメイン一般化を改善する動機づけ。
• 2Dおよび3Dデータをカバーする多様な放射線診断ベンチマークでDINOv2を系統的に評価し、分類とセグメンテーションタスクを横断。
• 複数の評価設定（kNN、線形プロービング、few-shot、エンドツーエンド微調整、PEFT）での性能を評価。
• DINOv2を教師あり、自己教師付き、弱教師付きベースラインと比較し、タスク間での相対的な強みを測る。

提案手法

• DINOv2 ViT-g/14およびViT-L/14（および小型の蒸留版）を特徴抽出用の凍結バックボーンとして使用。
• X線、CT、MRIの9つの公開放射線診断ベンチマークで分類とセグメンテーションを評価。
• 軽量ヘッドでのアウトオブザボックス性能を評価；加えてエンドツーエンド微調整とパラメータ効率微調整（LoRA、BitFit）を試験。
• 標準化された評価プロトコル（分類はAUROC、セグメンテーションはDice/Jaccard）に対して教師あり、自己教師付き、弱教師付きモデルと比較。
• セグメンテーションでは凍結エンコーダと線形デコーダ vs U-Netデコーダを比較；分類ではkNN、線形プロービング、few-shot、微調整を分析。
• モデル性能を孤立させ公平なモデル間比較を可能にするため、学習とチューニングパイプラインを標準化。

Figure 2: PCA component visualization. Following [ 8 ] , the PCA is computed between patches of images that are in the same column, and the first 3 components are shown. This is done for X-ray, CT, and MRI scans. Thresholding is used on the first component to remove the background.

実験結果

リサーチクエスチョン

• RQ1 DINOv2の表現は放射線診断における病気分類と臓器セグメンテーションの両方で一般化できるか？
• RQ2 放射線診断ベンチマークにおいてDINOv2は教師あり、自己教師付き、弱教師付きのベースラインと比較してどうか？
• RQ3 医用画像タスクにおけるDINOv2でのfew-shot、線形プロービング、エンドツーエンド対パラメータ効率微調整の影響は？
• RQ4 PEFT（LoRA、BitFit）を用いた微調整は、放射線診断タスクへDINOv2を適用する際、学習可能パラメータを大幅に減らして競争力のある性能を得られるか？
• RQ5 DINOv2は2D（X線）と3D（CT、MRI）モダリティおよび異なる臓器・疾患ベンチマークでどのように性能を示すか？

主な発見

• DINOv2は分類タスクで自己教師付き・弱教師付きベースラインを一般的に上回り、ImageNet21Kで事前学習した教師ありモデルと競合可能。
• セグメンテーションではDINOv2が弱教師付き手法を大幅に上回り、多くのタスクでエンドツーエンドの教師あり手法と同等かそれを上回る。
• DINOv2はタスク間の一般化を示し、ある設定では分類でSAMを上回ることがあり、セグメンテーションでも良好な性能を示す。
• パラメータ効率微調整（LoRA、BitFit）をVIT-g/14と組み合わせると、総パラメータの1%未満で競争力のある結果を達成し、エンドツーエンド微調整の性能に近づく。
• SAMと比較して、DINOv2は放射線診断データセットで分類性能が優れており、タスク横断の一般化が強調される。

Figure 3: Linear probing for disease classification compared to self-supervised and weakly-supervised methods. The figure shows the performance of linear probing DINOv2 compared to other self-supervised and weakly-supervised models.