[論文レビュー] General Purpose Image Encoder DINOv2 for Medical Image Registration

Xinrui Song, Xuanang Xu+1 more|arXiv (Cornell University)|Feb 24, 2024

Brain Tumor Detection and ClassificationNeuroscience被引用数 3

ひとこと要約

本論文は、微調整なしに自然画像で事前学習された自己教師ありビジョン基盤モデルDINOv2を活用し、豊富で意味的な特徴を抽出する訓練フリーな可変的画像登録手法DINO-Regを提案する。DINOv2で得られた特徴と凸最適化フレームワークを組み合わせることで、多様な医療画像モalityおよびデータセットにおいて、ロバストで汎用性の高い登録を実現し、OncoRegチャレンジで1位を獲得し、最先端の性能を達成した。

ABSTRACT

Existing medical image registration algorithms rely on either dataset specific training or local texture-based features to align images. The former cannot be reliably implemented without large modality-specific training datasets, while the latter lacks global semantics thus could be easily trapped at local minima. In this paper, we present a training-free deformable image registration method, DINO-Reg, leveraging a general purpose image encoder DINOv2 for image feature extraction. The DINOv2 encoder was trained using the ImageNet data containing natural images. We used the pretrained DINOv2 without any finetuning. Our method feeds the DINOv2 encoded features into a discrete optimizer to find the optimal deformable registration field. We conducted a series of experiments to understand the behavior and role of such a general purpose image encoder in the application of image registration. Combined with handcrafted features, our method won the first place in the recent OncoReg Challenge. To our knowledge, this is the first application of general vision foundation models in medical image registration.

研究の動機と目的

• モダリティ特化の訓練やグローバルな意味論を欠いたハンドクラフト特徴に依存する従来の医療画像登録手法の限界を解消すること。
• 自然画像で事前学習された一般用途のビジョン基盤モデルDINOv2—微調整なしに—を用いて医療画像登録に有効に機能するかを検証すること。
• DINOv2のグローバルな意味理解と離散最適化プロセスを組み合わせた、訓練フリーの登録フレームワークを構築すること。
• 提案手法を多様な現実世界の医療画像データセットで検証し、未学習データへの汎用性を示すこと。
• 大規模でモダリティ特化のデータセットに依存しない、自己教師ありビジョン基盤モデルを用いた医療画像登録の新しいパラダイムを確立すること。

提案手法

• ImageNetで事前学習された自己教師ありビジョン基盤モデルDINOv2を、微調整なしに3D医療ボリュームの一般用途特徴エンコーダーとして使用する。
• 各軸断層、冠状断層、矢状断層を個別に2D DINOv2でエンコードし、欠損断層の特徴を補間することで3D医療画像に適用する。
• 特徴の判別情報を保持しつつ、低ランクPCAを用いてDINOv2特徴を圧縮し、計算を顕著に高速化する。
• 凸最適化フレームワーク（ConvexAdam）で類似度指標として正規化相互相関（NCC）を用い、最適な変形場を推定する。
• 移動画像と基準画像の特徴間のNCCに基づく損失を最小化する離散最適化プロセスを適用し、グローバル最適解への収束を保証する。
• DINOv2特徴とハンドクラフト特徴（例：MIND）をアンサンブル設定で組み合わせることで、登録精度をさらに向上させる。

実験結果

リサーチクエスチョン

• RQ1 自然画像で事前学習された一般用途ビジョン基盤モデルDINOv2—微調整なしに—を用いて、医療画像登録に意味のある特徴を効果的に抽出できるか？
• RQ2 DINOv2ベースの特徴は、従来のハンドクラフト特徴（例：MIND）と比較して、可変的画像登録タスクで優れた性能を示すか？
• RQ3 2D DINOv2特徴を用いた3D医療ボリュームのエンコードにおいて、最適な設定（スライスギャップ、エンコードビュー、PCAランク）は何か？
• RQ4 DINOv2特徴とハンドクラフト特徴を組み合わせることで、多様なデータセットにおいて登録精度とロバスト性が向上するか？
• RQ5 DINOv2に基づく訓練フリー登録フレームワークは、現実世界の医療画像チャレンジで最先端の性能を達成できるか？

主な発見

• DINO-RegはOncoRegチャレンジで最良の成績を収め、ThoraxCBCTデータセットで3.86±0.93 mmのターゲット登録誤差（TRE）を達成した。
• 凸最適化でNCCを損失関数として用いることで、SSDに比べ顕著に優れた結果が得られ、TREが0.32 mm改善され、Diceスコアも向上した。
• 毎3スライスごとにエンコード（ギャップ=3）することで安定した性能が得られたが、ギャップを5に増加させると性能が低下し、効率と精度の最適なトレードオフが示された。
• 低ランクPCAにより計算時間を最大50倍短縮でき、性能低下は無視できるほど小さく、1ケースあたりの実行時間を300秒以上から約60秒に短縮した。
• 軸断層（axial）ビューのエンコードが最も高い分散（最初の3成分で43.6%）を捉え、Diceスコア（0.733±0.14）も最高を記録し、冠状・矢状ビューを上回った。
• DINO-RegとConvexAdamまたはMIND特徴をアンサンブル化することでさらに性能向上が得られ、DINO-Reg+ConvexAdamの組み合わせが最も低いTRE（3.72±0.68 mm）を達成した。