[논문 리뷰] Comprehensive Multimodal Segmentation in Medical Imaging: Combining YOLOv8 with SAM and HQ-SAM Models

Sumit Pandey, Kuan‐Fu Chen외 1명|arXiv (Cornell University)|2023. 10. 04.

Radiomics and Machine Learning in Medical Imaging인용 수 4

한 줄 요약

이 논문은 초음파, CT, X-ray 모odal리티의 정밀한 의료 영상 분할을 위해 YOLOv8을 사용한 객체 검출과 SAM 및 HQ-SAM을 조합한 하이브리드 딥러닝 프레임워크를 제안한다. 각 모달리티당 단지 100장의 이미지로 훈련된 YOLOv8+SAM 파이프라인은 기준 모델들보다 뛰어난 분할 정확도를 달성한다. 특히 SAM은 딱딱한 점수와 F1 점수 등 핵심 지표에서 YOLOv8와 HQ-SAM를 모두 앞서며, 높은 계산 비용을 감안할 때도 임상적 잠재력이 높음을 보여준다.

ABSTRACT

This paper introduces a comprehensive approach for segmenting regions of interest (ROI) in diverse medical imaging datasets, encompassing ultrasound, CT scans, and X-ray images. The proposed method harnesses the capabilities of the YOLOv8 model for approximate boundary box detection across modalities, alongside the Segment Anything Model (SAM) and High Quality (HQ) SAM for fully automatic and precise segmentation. To generate boundary boxes, the YOLOv8 model was trained using a limited set of 100 images and masks from each modality. The results obtained from our approach are extensively computed and analyzed, demonstrating its effectiveness and potential in medical image analysis. Various evaluation metrics, including precision, recall, F1 score, and Dice Score, were employed to quantify the accuracy of the segmentation results. A comparative analysis was conducted to assess the individual and combined performance of the YOLOv8, YOLOv8+SAM, and YOLOv8+HQ-SAM models. The results indicate that the SAM model performs better than the other two models, exhibiting higher segmentation accuracy and overall performance. While HQ-SAM offers potential advantages, its incremental gains over the standard SAM model may not justify the additional computational cost. The YOLOv8+SAM model shows promise for enhancing medical image segmentation and its clinical implications.

연구 동기 및 목표

• 제한된 레이블이 부여된 데이터로 다양한 의료 영상 모달리티 간 정확하고 일반화 가능한 분할을 해결하기 위해.
• YOLOv8의 빠르고 강력한 검출 능력과 SAM 및 HQ-SAM의 제로샷 일반화 능력을 융합하여 종단 간 분할을 위한 통합 프레임워크를 구축하기 위해.
• 여러 영상 유형에서 YOLOv8 단독, YOLOv8+SAM, YOLOv8+HQ-SAM의 성능을 통합된 프레임워크 내에서 평가하기 위해.
• HQ-SAM을 사용할 경우 표준 SAM과 비교해 분할 정확도와 계산 비용 간의 상충 관계를 정량화하기 위해.

제안 방법

• YOLOv8은 각 모달리티(초음파, CT, X-ray)당 100장의 레이블이 부여된 균형 잡힌 소규모 데이터셋으로 미세조정되어 관심 영역에 대한 초기 바운딩 박스를 생성하였다.
• YOLOv8에서 예측한 바운딩 박스는 Segment Anything Model(SAM)과 High-Quality SAM(HQ-SAM)의 프롬프트로 사용되어 정밀한 인스턴스 분할 마스크를 생성하였다.
• SAM과 HQ-SAM는 의료 데이터에 대한 추가 미세조정 없이 제로샷 방식으로 적용되었으며, 사전 훈련된 제로샷 일반화 능력을 활용하였다.
• 분할 결과는 정밀도, 재현도, F1 점수, 딱딱한 점수와 같은 표준 지표를 사용해 모든 모델과 모달리티 간 성능을 정량화하였다.
• YOLOv8-단독, YOLOv8+SAM, YOLOv8+HQ-SAM의 세 구성에 대해 비교 분석을 수행하여 분할 헤드의 기여도를 분리하였다.
• 모든 모델은 동일한 데이터셋에서 훈련 및 평가되어 동일한 조건에서 공정한 비교를 보장하였다.

실험 결과

연구 질문

• RQ1 YOLOv8를 SAM과 통합함으로써, YOLOv8 단독 대비 다양한 의료 영상 모달리티에서 분할 정확도가 어떻게 향상되는가?
• RQ2 제한된 훈련 데이터로 의료 영상 분할 작업에서 표준 SAM 대비 HQ-SAM를 사용할 경우 상대적 성능 향상은 얼마나 되는가?
• RQ3 YOLOv8+SAM 파이프라인이 각 모달리티당 100장의 레이블이 부여된 이미지로도 최신 기술 수준의 의료 영상 분할 성능을 달성하는가?
• RQ4 임상적 구현 시나리오에서 HQ-SAM을 사용할 경우 표준 SAM 대비 분할 품질과 계산 비용 간의 상충 관계는 어떠한가?

주요 결과

• YOLOv8+SAM 모델은 모든 평가 지표에서 가장 높은 분할 성능를 기록했으며, YOLOv8-단독 및 YOLOv8+HQ-SAM 구성보다 뛰어났다.
• SAM은 뛰어난 일반화 능력과 정확도를 보였으며, 딱딱한 점수에서 YOLOv8와 HQ-SAM를 모두 앞서며 의료 영상에서 강력한 제로샷 능력을 입증했다.
• HQ-SAM는 표준 SAM 대비 유의미한 향상이 없었으며, F1 점수나 딱딱한 점수에서의 성능 향상이 없어 더 높은 추론 시간과 계산 부담을 감당할 만한 가치가 없었다.
• YOLOv8+SAM 파이프라인은 초음파, CT, X-ray 전반에서 높은 정밀도와 재현도를 확보하여 영상 변동성에 대한 강건성을 보였다.
• 각 모달리티당 단지 100장의 레이블이 부여된 이미지만을 사용했음에도 불구하고, 평균 딱딱한 점수 0.85를 초과하여 강력한 소수의 샘플 학습 능력을 입증했다.
• 결과적으로 YOLOv8+SAM은 임상 적용을 위한 유망한, 효율적이고 정확한 솔루션으로 제안된다.