[논문 리뷰] From CNN to Transformer: A Review of Medical Image Segmentation Models

Wenjian Yao, Jiajun Bai외 4명|arXiv (Cornell University)|2023. 08. 10.

Radiomics and Machine Learning in Medical Imaging인용 수 8

한 줄 요약

요약: 이 논문은 네 가지 대표적인 의료 영상 분할 모델(U-Net, UNet++, TransUNet, Swin-Unet)을 고찰하고, 이들의 특징을 분석하며 결핵 흉부 X선과 난소 종양 데이터셋에서 성능을 비교한다. 변환기 기반 모델이 전역 맥락 모델링에 유리하다는 점을 강조한다.

ABSTRACT

Medical image segmentation is an important step in medical image analysis, especially as a crucial prerequisite for efficient disease diagnosis and treatment. The use of deep learning for image segmentation has become a prevalent trend. The widely adopted approach currently is U-Net and its variants. Additionally, with the remarkable success of pre-trained models in natural language processing tasks, transformer-based models like TransUNet have achieved desirable performance on multiple medical image segmentation datasets. In this paper, we conduct a survey of the most representative four medical image segmentation models in recent years. We theoretically analyze the characteristics of these models and quantitatively evaluate their performance on two benchmark datasets (i.e., Tuberculosis Chest X-rays and ovarian tumors). Finally, we discuss the main challenges and future trends in medical image segmentation. Our work can assist researchers in the related field to quickly establish medical segmentation models tailored to specific regions.

연구 동기 및 목표

• CNN- 및 Transformer 기반 의료 영상 분할 모델의 evolution과 특징을 평가한다.
• 벤치마크 데이터셋에서 대표 모델 네 가지를 정량적으로 비교한다.
• 의료 영상 분할의 도전과제와 향후 트렌드를 식별한다.
• 재현성과 확장을 돕기 위한 실험 구성과 오픈 소스 코드를 제공한다.

제안 방법

• 네 가지 대표 모델(U-Net, UNet++, TransUNet, Swin-Unet)을 검토한다.
• 각 모델의 특징 표현 및 장거리 의존성 모델링에서의 강점과 한계를 이론적으로 분석한다.
• Tuberculosis Chest X-rays와 Ovarian Tumors 데이터셋에 대해 표준 분할 지표를 사용하여 실험적으로 평가한다.
• Dice, HD95, IoU, Accuracy, Precision, Recall을 보고하여 성능을 비교한다.
• 데이터 라벨링 및 클래스 불균형과 같은 도전과제를 논의하고 완화 전략을 제시한다.
• 재현성을 위해 GitHub에 코드와 구성 파라미터를 공유한다.

실험 결과

연구 질문

• RQ1 의료 영상 분할에서 전통적인 CNN 기반 아키텍처와 Transformer 기반 아키텍처를 어떻게 비교할 수 있는가?
• RQ2 Transformer 모듈(또는 Swin Transformer)을 도입했을 때 분할 성능에 어떤 영향이 다양한 데이터셋에서 나타나는가?
• RQ3 실험된 과제에서 정확도, 경계 품질, 계산 효율성의 균형을 가장 잘 제공하는 모델은 무엇인가?
• RQ4 의료 영상에 감독 학습 분할을 적용하는 데 있어 실제적인 도전은 무엇이며 이를 어떻게 완화할 수 있는가?

주요 결과

• TransUNet이 모든 지표에서 TB 흉부 X선에 대해 가장 전체적인 성능을 달성한다.
• TB 데이터셋에서 TransUNet은 DSC 96.45, HD95 10.75, IoU 93.25, Accuracy 98.16, Precision 97.36, Recall 95.72를 달성한다.
• 난소 종양 데이터셋에서도 TransUNet이 Dice, HD95, IoU, Accuracy, Precision에서 다시 선두를 차지하며 Recall은 Swin-Unet에 이어 두 번째이다.
• 모든 네 가지 방법은 폐 분할 작업에서 평균 IoU가 91%를 넘으며, 분할이 쉬운 영역에서 강력한 성능을 보여준다.
• Transformer 모듈의 도입은 순수 CNN보다 매우 낮은 Dice 점수(<20%)의 발생을 줄인다.
• 연구는 Transformer- enabled 아키텍처(특히 TransUNet)가 전역 정보를 효과적으로 포착하고 분할 정확도를 향상시킨다고 결론지었다.