[論文レビュー] Segment Anything Model (SAM) for Radiation Oncology

Lian Zhang, Zhengliang Liu+11 more|arXiv (Cornell University)|Jun 20, 2023

Advanced Radiotherapy Techniques被引用数 13

ひとこと要約

この研究は SAM のゼロショットおよびプロンプト可能セグメンテーションを、前立腺、肺、GI、頭頸部の放射線治療部位でのCTベースの臓器リスク(OAR)に対して評価し、segment-everythingとbox-promptモードを ground-truth delineations と Dice および Jaccard 指標で比較する。

ABSTRACT

In this study, we evaluate the performance of the Segment Anything Model (SAM) in clinical radiotherapy. Our results indicate that SAM's 'segment anything' mode can achieve clinically acceptable segmentation results in most organs-at-risk (OARs) with Dice scores higher than 0.7. SAM's 'box prompt' mode further improves the Dice scores by 0.1 to 0.5. Considering the size of the organ and the clarity of its boundary, SAM displays better performance for large organs with clear boundaries but performs worse for smaller organs with unclear boundaries. Given that SAM, a model pre-trained purely on natural images, can handle the delineation of OARs from medical images with clinically acceptable accuracy, these results highlight SAM's robust generalization capabilities with consistent accuracy in automatic segmentation for radiotherapy. In other words, SAM can achieve delineation of different OARs at different sites using a generic automatic segmentation model. SAM's generalization capabilities across different disease sites suggest that it is technically feasible to develop a generic model for automatic segmentation in radiotherapy.

研究の動機と目的

• SAM のゼロショット segmentation 性能を、前立腺、肺、GI、頭頸部サイトの臨床CT OAR delineations に対して評価する。
• ground-truth manual delineations に対して SAM の segment-everything および box-prompt モードを Dice および Jaccard 指数で比較する。
• どの臓器とサイトが SAM から最も恩恵を受けるか、臨床導入の潜在的制限がどこにあるかを特定する。
• 放射線治療ワークフローへの SAM の統合と、3D/マルチモーダルセグメンテーションの改善方向についての指針を提供する。

提案手法

• 経験豊富な放射線腫瘍医によって RTOG 基準に従って delineated された各サイトあたり5–14 の OAR を用いて、計80 病例（サイト別20例）を使用する。
• SAM を two modes: segment-everything (プロンプトなし) と manual box prompt (関心領域のプロンプト) を ground-truth CT delineations に対して比較する。
• SAM の出力と ground-truth マスク間の Dice係数と Jaccard 指数（IOU）でセグメンテーションを評価する。
• サイト間での臓器サイズと境界の明瞭さに基づく汎化を解釈する。
• SAM の 3D 拡張を将来の課題として、2D スライスを処理（各患者5枚の代表的なスライス）する。

Figure 1 : Workflow of SAM segmentation in clinical cases with SAM segment everything mode and SAM box prompt mode taking prostate as an example.

実験結果

リサーチクエスチョン

• RQ1 複数の解剖学的サイトにわたる臨床CT OAR delineations に対して、タスク特化の訓練なしで SAM は臨床的に受け入れられる自動セグメンテーションを提供できるか？
• RQ2 box-prompt モードは臨床放射線治療 CT 画像で segment-everything モードより Dice/Jaccard の性能を有意に改善するか？
• RQ3 どの臓器とサイトが SAM の頑健な性能を示し、ゼロショット条件下でどれが依然として困難か？
• RQ4 現実の放射線治療の輪郭作成ワークフローに SAM を統合する際の実践的影響と制限は？
• RQ5 SAM の臨床的有用性を進めるために、3Dセグメンテーションやマルチモーダルなどの将来の改善は何が必要か？

主な発見

• Segment-everything mode は多くの大きくて明瞭な OAR に対して Dice スコアが0.7を超える（例：前立腺膀胱 0.748, 大腿骨頭 ~0.8, 肺 ~0.86）しかし小さく不明瞭な構造には不利（例：食道は認識されず；蝸牛/耳下腺は多くが0）。
• Box prompt mode は多くの臓器で Dice を概ね0.1–0.5程度向上させ、新たに認識されていなかった OAR（例：食道、いくつかの耳下腺）を認識可能にするが、小さなまたは不明確な構造には依然制限がある。
• SAM は segment-everything で前立腺と肺サイトで最も良く機能し、GI および頭頸部サイトではより効果的でない; サイト間で手動描出の難易度と一致。
• 全体として、単一の SAM モデルが複数の放射線治療臓器へクロスサイト一般化を示し、3D/マルチモーダル強化が保たれれば RT の汎用自動セグメンテーションモデルとしての実現性を示唆。
• CT中心の学習のため境界の一部は不明確なまま；将来の改善として多模態画像（例：MRI）と3D拡張を推奨。

Figure 2 : Comparison of the clinical delineation (ground truth), SAM segment everything, and SAM with manual box prompt of example cases. a) prostate b) lung c) gastrointestinal d) head&neck