[論文レビュー] SAM vs BET: A Comparative Study for Brain Extraction and Segmentation of Magnetic Resonance Images using Deep Learning

Sovesh Mohapatra, Advait Gosai+1 more|arXiv (Cornell University)|Apr 10, 2023

Medical Image Segmentation Techniques被引用数 20

ひとこと要約

本論文は Segment Anything Model (SAM) を brain extraction における FSL BET と比較し、多様な MRIs で SAM が Dice、IoU、および accuracy の点で BET を概ね上回ることを示す。特に病変や低品質画像での性能差が顕著であるほか、SAM が within-brain structure segmentation の可能性も示している。

ABSTRACT

Brain extraction is a critical preprocessing step in various neuroimaging studies, particularly enabling accurate separation of brain from non-brain tissue and segmentation of relevant within-brain tissue compartments and structures using Magnetic Resonance Imaging (MRI) data. FSL's Brain Extraction Tool (BET), although considered the current gold standard for automatic brain extraction, presents limitations and can lead to errors such as over-extraction in brains with lesions affecting the outer parts of the brain, inaccurate differentiation between brain tissue and surrounding meninges, and susceptibility to image quality issues. Recent advances in computer vision research have led to the development of the Segment Anything Model (SAM) by Meta AI, which has demonstrated remarkable potential in zero-shot segmentation of objects in real-world scenarios. In the current paper, we present a comparative analysis of brain extraction techniques comparing SAM with a widely used and current gold standard technique called BET on a variety of brain scans with varying image qualities, MR sequences, and brain lesions affecting different brain regions. We find that SAM outperforms BET based on average Dice coefficient, IoU and accuracy metrics, particularly in cases where image quality is compromised by signal inhomogeneities, non-isotropic voxel resolutions, or the presence of brain lesions that are located near (or involve) the outer regions of the brain and the meninges. In addition, SAM has also unsurpassed segmentation properties allowing a fine grain separation of different issue compartments and different brain structures. These results suggest that SAM has the potential to emerge as a more accurate, robust and versatile tool for a broad range of brain extraction and segmentation applications.

研究の動機と目的

• 多様な MRI データセットに対する automatic brain extraction のための SAM と BET の性能を評価する。
• 全脳抽出を超えた特定の脳領域や病変のセグメンテーション能力を SAM が示すかを評価する。
• 画像品質のばらつきや病変の有無を含む状況で、BET よりも robust な SAM の利点を特定する。
• 前処理パイプラインへの実用的影響と SAM の潜在的な制限について議論する。

提案手法

• ATLAS、WMH Challenge、および院内データセットから 5 カテゴリにまたがる 45 枚の匿名化 MR 脳画像を使用する。
• 公正な比較のためにすべての画像を MNI152 space に標準化する。
• Dice、IoU、Accuracy、Recall、Precision などの指標を用いて brain extraction における BET と SAM を比較する。
• SAM では 2D スライスワークフローと、領域の包含/除外を行うカスタム bounding box アルゴリズムを用いる。
• 3D MRI データを 2D スライスへ変換して SAM の入力とし、3D の脳抽出出力を再構成する。
• 平面およびモダリティ間での定性的な視覚比較を提供する。

Figure 1: Comprehensive SAM workflow – visualizing the end-to-end process with custom box algorithm, highlighting blue dots (exclusion mask) and yellow dots (inclusion mask)

実験結果

リサーチクエスチョン

• RQ1 SAM は diverse MRI モダリティや病理条件において BET より高い Dice、IoU、Accuracy を提供するか。
• RQ2 画像品質、正規化、病変の有無は SAM と BET の性能にどのように影響するか。
• RQ3 SAM は全脳抽出を超えた within-brain 構造（例：corpus callosum、basal ganglia）や病変を信頼性高くセグメントできるか。
• RQ4 ニューロイメージングパイプラインにおける脳抽出で SAM を用いる際の実務的トレードオフ（計算要件など）は何か。

主な発見

• SAM はほとんどのモダリティとデータセットで Dice、IoU、Accuracy において BET を概ね上回る。
• 高品質で正規化された画像では BET が相対的に良いが、脳境界近傍の病変や低品質データには苦戦する。
• SAM のカスタム bounding box アプローチは、外側の脳領域近くの構造や病変の包含/除外をより正確に行える。
• WMH 3DT1 データセットでは、SAM が Dice 0.914、IoU 0.842 を達成した一方、BET は Dice 0.628、IoU 0.518 だった（例示あり）。
• SAM はいくつかの FLAIR WMH ケースで過剰切り cropping となることがあるが、複数のモダリティにまたいで堅牢な性能を示し、脳抽出と領域セグメンテーションの点で全体的により大きな頑健性と汎用性を示す。
• SAM ベースのワークフローは 3D データを 2D スライスへ変換する必要があり、BET と比較して処理時間が長くなる場合がある（全体で約 30 秒程度）。

Figure 2: Comparison of original MRI images and extraction outputs by BET and SAM for A. sagittal, B. coronal, and C. axial anatomical planes. BET extraction results in sagittal, coronal, and axial planes, respectively. SAM extraction results in sagittal, coronal, and axial planes, respectively. The