[論文レビュー] Comprehensive Multimodal Segmentation in Medical Imaging: Combining YOLOv8 with SAM and HQ-SAM Models

Sumit Pandey, Kuan‐Fu Chen+1 more|arXiv (Cornell University)|Oct 4, 2023

Radiomics and Machine Learning in Medical Imaging被引用数 4

ひとこと要約

本論文は、超音波、CT、X線画像の3つのモダリティにおいて、物体検出にYOLOv8を、正確な医療画像セグメンテーションにSAMおよびHQ-SAMを組み合わせたハイブリッドディープラーニングフレームワークを提案する。各モダリティでたった100枚の画像のみを用いて訓練したYOLOv8+SAMパイプラインは、ベースラインモデルを上回る優れたセグメンテーション精度を達成した。特に、DiceスコアやF1スコアといった主要指標において、SAMはYOLOv8およびHQ-SAMを上回り、高い計算コストを伴うHQ-SAMに比べても、臨床的応用の可能性が非常に高いことが示された。

ABSTRACT

This paper introduces a comprehensive approach for segmenting regions of interest (ROI) in diverse medical imaging datasets, encompassing ultrasound, CT scans, and X-ray images. The proposed method harnesses the capabilities of the YOLOv8 model for approximate boundary box detection across modalities, alongside the Segment Anything Model (SAM) and High Quality (HQ) SAM for fully automatic and precise segmentation. To generate boundary boxes, the YOLOv8 model was trained using a limited set of 100 images and masks from each modality. The results obtained from our approach are extensively computed and analyzed, demonstrating its effectiveness and potential in medical image analysis. Various evaluation metrics, including precision, recall, F1 score, and Dice Score, were employed to quantify the accuracy of the segmentation results. A comparative analysis was conducted to assess the individual and combined performance of the YOLOv8, YOLOv8+SAM, and YOLOv8+HQ-SAM models. The results indicate that the SAM model performs better than the other two models, exhibiting higher segmentation accuracy and overall performance. While HQ-SAM offers potential advantages, its incremental gains over the standard SAM model may not justify the additional computational cost. The YOLOv8+SAM model shows promise for enhancing medical image segmentation and its clinical implications.

研究の動機と目的

• 限られたアノテート済みデータでの、多様な医療画像モダリティにわたる正確で一般化可能なセグメンテーションの課題に対処すること。
• YOLOv8の高速かつ頑健な検出性能と、SAMおよびHQ-SAMのゼロショット一般化能力を統合し、エンドツーエンドのセグメンテーションを実現すること。
• 複数の画像タイプにわたる統一されたフレームワーク内で、YOLOv8単体、YOLOv8+SAM、YOLOv8+HQ-SAMの性能を評価すること。
• HQ-SAMを標準SAMと比較した場合の、セグメンテーション精度と計算コストのトレードオフを定量化すること。

提案手法

• YOLOv8は、各モダリティ（超音波、CT、X線）ごとに100枚のアノテート済み画像からなる小規模でバランスの取れたデータセット上で微調整され、関心領域の初期バウンディングボックスを生成した。
• YOLOv8が予測したバウンディングボックスを、Segment Anything Model（SAM）およびHigh-Quality SAM（HQ-SAM）のプロンプトとして用い、正確なインスタンスセグメンテーションマスクを生成した。
• SAMおよびHQ-SAMはゼロショットの方法で適用され、医療データに対する追加の微調整は不要であり、事前に学習済みのゼロショット一般化能力を活用した。
• セグメンテーション出力は、標準的な指標（精度、再現率、F1スコア、Diceスコア）を用いて評価され、全モデルおよび全モダリティにおける性能を定量化した。
• YOLOv8単体、YOLOv8+SAM、YOLOv8+HQ-SAMの3つの構成を比較して分析し、セグメンテーションヘッドの貢献を明確にした。
• すべてのモデルは同一のデータセット上で訓練および評価され、同一の条件下での公平な比較が保証された。

実験結果

リサーチクエスチョン

• RQ1 YOLOv8にSAMを統合することで、YOLOv8単体と比較して、多様な医療画像モダリティにおけるセグメンテーション精度がどのように向上するか？
• RQ2 限られた学習データを用いた医療画像セグメンテーションタスクにおいて、標準SAMと比較してHQ-SAMを使用することで得られる相対的な性能向上は何か？
• RQ3 100枚のアノテート済み画像／モダリティのみを用いても、YOLOv8+SAMパイプラインは医療画像セグメンテーションで最先端の性能を達成できるか？
• RQ4 臨床現場での導入を想定した場合、HQ-SAMを標準SAMと比較した際の、セグメンテーション品質と計算コストのトレードオフは何か？

主な発見

• YOLOv8+SAMモデルは、全評価指標において最高のセグメンテーション性能を達成し、YOLOv8単体およびYOLOv8+HQ-SAMの構成を上回った。
• SAMは優れた一般化能力と高い精度を示し、DiceスコアがYOLOv8およびHQ-SAMを顕著に上回り、医療画像における強力なゼロショット能力を示した。
• HQ-SAMは標準SAMと比較してわずかな改善しか得られず、F1スコアやDiceスコアに顕著な向上が見られなかったため、その増加した推論時間と計算負荷を補填する価値はないと考えられた。
• YOLOv8+SAMパイプラインは、全モダリティ（超音波、CT、X線）で高い精度と再現率を達成しており、画像のばらつきに対して高い頑健性を示した。
• 100枚のアノテート済み画像／モダリティのみを用いても、平均してDiceスコアが0.85を超えた。これは、強力な少数ショット学習能力を示している。
• 結果から、YOLOv8+SAMは臨床現場でのマルチモダリティ医療画像セグメンテーションに向けた有望な、効率的で高精度なソリューションであると示唆された。