[논문 리뷰] Segment anything model for head and neck tumor segmentation with CT, PET and MRI multi-modality images

Jintao Ren, Mathis Ersted Rasmussen외 3명|arXiv (Cornell University)|2024. 02. 27.

Radiomics and Machine Learning in Medical ImagingMedicine인용 수 3

한 줄 요약

이 연구는 다중 모odal CT, PET 및 MRI 영상에서 두부頸부 암 환자의 자동적인 전이성 종양 부위(GTV) 분할을 위한 Segment Anything Model(SAM) 및 그 의료용 응용인 MedSAM을 평가한다. SAM을 미세조정하면 zero-shot 추론에 비해 분할 정확도가 크게 향상되며, 임상적 방사선 치료 계획에서 반자동 GTV 분할에 강력한 잠재력을 보여준다.

ABSTRACT

Deep learning presents novel opportunities for the auto-segmentation of gross tumor volume (GTV) in head and neck cancer (HNC), yet fully automatic methods usually necessitate significant manual refinement. This study investigates the Segment Anything Model (SAM), recognized for requiring minimal human prompting and its zero-shot generalization ability across natural images. We specifically examine MedSAM, a version of SAM fine-tuned with large-scale public medical images. Despite its progress, the integration of multi-modality images (CT, PET, MRI) for effective GTV delineation remains a challenge. Focusing on SAM's application in HNC GTV segmentation, we assess its performance in both zero-shot and fine-tuned scenarios using single (CT-only) and fused multi-modality images. Our study demonstrates that fine-tuning SAM significantly enhances its segmentation accuracy, building upon the already effective zero-shot results achieved with bounding box prompts. These findings open a promising avenue for semi-automatic HNC GTV segmentation.

연구 동기 및 목표

• 두부頸부 암(HNC)에서 자동적인 전이성 종양 부위(GTV) 분할을 위한 Segment Anything Model(SAM)의 적용 가능성 탐색.
• 의료용으로 개선된 SAM인 MedSAM의 다중 모달리티 영상(CT, PET, MRI)에서의 성능 평가.
• 분할 정확도 향상을 위해 zero-shot 추론과 경계 상자 프롬프트를 사용한 것과 미세조정된 SAM을 비교.
• CT, PET, MRI 다중 모달리티 영상을 융합하여 방사선 치료 계획에서의 GTV 분할 정확도 향상 탐색.
• 수동 윤곽 추출에 의존도를 줄이는 반자동 GTV 분할 기반 마련.

제안 방법

• 대규모 공개 의료 영상 데이터셋을 기반으로 사전 학습된 Segment Anything Model(SAM)을 의료 영상에 적응시키기 위해 미세조정을 수행.
• 모델의 미세조정 없이도 초기 분할 마스크를 생성하기 위해 경계 상자 프롬프트를 사용한 zero-shot 추론을 활용.
• CT, PET 및 MRI 모달리티를 포함한 두부頸부 암 데이터셋을 활용해 SAM을 미세조정하여 일반화 능력과 정확도 향상.
• CT, PET 및 MRI 영상을 하나의 입력 표현으로 융합하여 상호 보완적인 해부학적 및 기능적 정보를 활용.
• 보류된 테스트 세트에서 표준 평가 지표인 Dice 유사도 계수(DSC) 및 Hausdorff 거리(HD)를 사용해 분할 성능 평가.
• 시각 인코더 및 프롬프트 인코더를 의료 영상 도메인에 적응시키기 위해 전이 학습 원리를 적용.

실험 결과

연구 질문

• RQ1 다중 모달리티 의료 영상에서 SAM의 zero-shot 기능을 두부頸부 암의 GTV 분할에 효과적으로 활용할 수 있는가?
• RQ2 의료 영상 데이터에 대해 SAM을 미세조정하면 zero-shot 추론 대비 분할 정확도가 얼마나 향상되는가?
• RQ3 CT, PET 및 MRI 모달리티를 융합하면 SAM 기반 분할에서 GTV 분할 성능이 얼마나 향상되는가?
• RQ4 MedSAM은 두부頸부 종양 영상에서 표준 SAM보다 분할 정확도와 강건성 측면에서 뛰어나다고 할 수 있는가?
• RQ5 제안된 방법은 임상적 방사선 치료 계획에서 수동 윤곽 추출의 필요성을 줄일 수 있는가?

주요 결과

• SAM을 미세조정하면 경계 상자 프롬프트를 사용한 경우, zero-shot 성능에 비해 분할 정확도가 크게 향상되었다.
• 다중 모달리티 영상(CT, PET, MRI) 융합은 단일 모달리티 입력에 비해 더 강건하고 정확한 종양 윤곽 분할을 가능하게 하였다.
• MedSAM은 의료 영상에서 강력한 zero-shot 일반화 능력을 보였으며, 미세조정 없이도 경쟁 가능한 기준 성능을 달성하였다.
• 미세조정된 SAM은 zero-shot 추론보다 더 높은 Dice 유사도 계수(DSC) 값을 기록하여 참값 윤곽과의 겹침이 향상됨을 시사하였다.
• 다양한 환자 해부학적 구조와 종양 위치에서 일관된 성능을 보여, 강력한 일반화 능력을 보였다.
• 미세조정된 SAM을 활용한 반자동 분할은 광범위한 수동 수정의 필요성을 줄였으며, 임상 워크플로우 통합에 유리함을 시사하였다.