[論文レビュー] Segment anything model for head and neck tumor segmentation with CT, PET and MRI multi-modality images

Jintao Ren, Mathis Ersted Rasmussen+3 more|arXiv (Cornell University)|Feb 27, 2024

Radiomics and Machine Learning in Medical ImagingMedicine被引用数 3

ひとこと要約

本研究は、頭頸部がんにおける画像診断のためのマルチモodal CT、PET、MRI画像を用いて、自動的グロス腫瘍体積（GTV）分類のためのSegment Anything Model（SAM）およびその医療分野向け適合版であるMedSAMの評価を行った。微調整によりゼロショット推論に比べて分類精度が著しく向上し、臨床的放射線治療計画における準自動的GTV定義の強力な可能性を示した。

ABSTRACT

Deep learning presents novel opportunities for the auto-segmentation of gross tumor volume (GTV) in head and neck cancer (HNC), yet fully automatic methods usually necessitate significant manual refinement. This study investigates the Segment Anything Model (SAM), recognized for requiring minimal human prompting and its zero-shot generalization ability across natural images. We specifically examine MedSAM, a version of SAM fine-tuned with large-scale public medical images. Despite its progress, the integration of multi-modality images (CT, PET, MRI) for effective GTV delineation remains a challenge. Focusing on SAM's application in HNC GTV segmentation, we assess its performance in both zero-shot and fine-tuned scenarios using single (CT-only) and fused multi-modality images. Our study demonstrates that fine-tuning SAM significantly enhances its segmentation accuracy, building upon the already effective zero-shot results achieved with bounding box prompts. These findings open a promising avenue for semi-automatic HNC GTV segmentation.

研究の動機と目的

• 頭頸部がん（HNC）における自動的グロス腫瘍体積（GTV）分類にSegment Anything Model（SAM）を用いる可能性を調査すること。
• 医療分野に適合させたSAMの変種であるMedSAMの、CT、PET、MRIのマルチモダリティ画像データにおける性能を評価すること。
• ゼロショット推論とボクシングボックスプロンプトを用いた手法と、微調整済みSAMを比較し、分類精度の向上を検証すること。
• CT、PET、MRIのマルチモダリティ画像統合を検討し、放射線治療計画におけるGTV定義の精度向上を図ること。
• 手動コンター作成への依存を低減する準自動的GTV定義の基盤を構築すること。

提案手法

• 大規模な公開医療画像データセットを用いて、事前学習済みのSegment Anything Model（SAM）を医療画像に適合させるために微調整した。
• モデルの微調整なしで初期分類マスクを生成するために、ゼロショット推論にボクシングボックスプロンプトを用いた。
• CT、PET、MRIモダリティを統合した頭頸部がんデータセットを用いて、一般化性能と精度の向上を図るためにSAMを微調整した。
• CT、PET、MRIのマルチモダリティ画像を統合し、1つの入力表現として統合することで、相補的な解剖学的および機能的情報を活用した。
• ホールドアウトテストセットを用いて、Dice類似係数（DSC）やハウスドルフ距離（HD）といった標準指標を用いて分類性能を評価した。
• ビジョンエンコーダーおよびプロンプトエンコーダーを医療画像ドメインに適応させるために、トランスファーラーニングの原則を適用した。

実験結果

リサーチクエスチョン

• RQ1 マルチモダリティ医療画像を用いた頭頸部がんにおけるGTV分類に、SAMのゼロショット機能を効果的に活用できるか？
• RQ2 医療画像データにSAMを微調整することで、ゼロショット推論に比べて分類精度がどの程度向上するか？
• RQ3 CT、PET、MRIモダリティの統合は、SAMベースの分類におけるGTV定義性能をどの程度向上させるか？
• RQ4 MedSAMは、頭頸部腫瘍画像において、標準的なSAMよりも分類精度と頑健性に優れているか？
• RQ5 提案手法により、臨床的放射線治療計画における手動コンター作成の必要性を低減できるか？

主な発見

• SAMの微調整により、特にボクシングボックスプロンプトを用いた場合、ゼロショット性能に比べて分類精度が顕著に向上した。
• マルチモダリティ画像（CT、PET、MRI）の統合により、単一モダリティ入力に比べてより頑健で正確な腫瘍定義が可能になった。
• MedSAMは、微調整なしでも医療画像に対して優れたゼロショット一般化性能を示し、微調整なしで競争力のあるベースライン性能を達成した。
• 微調整済みSAMは、ゼロショット推論に比べて高いDice類似係数（DSC）値を示し、正解コンターとの重複度が向上したことを示した。
• 多様な患者の解剖学的特徴や腫瘍の位置にかかわらず一貫した性能を示したため、強力な一般化能力を有しているとされた。
• 微調整済みSAMを用いた準自動分類により、手動補正の必要性が著しく低減したため、臨床ワークフローへの統合が可能であるとされた。