[논문 리뷰] Cross-modality Attention Adapter: A Glioma Segmentation Fine-tuning Method for SAM Using Multimodal Brain MR Images

Xiaoyu Shi, Shurong Chai외 5명|arXiv (Cornell University)|2023. 07. 03.

Brain Tumor Detection and Classification인용 수 5

한 줄 요약

이 논문은 다중 모odal 뇌 MRI에서 간질성 뇌종양 분할을 위해 Segment Anything Model(SAM)을 미세조정하기 위해 T1, T1c, T2 및 FLAIR 시퀀스 간의 교차주의 메커니즘을 활용하는 교차모odal리티 주의 어댑터(CMA)를 제안한다. 이 방법은 사설 간질성 뇌종양 데이터셋에서 88.38%의 Dice 점수와 10.64의 Hausdorff 거리를 기록하며, 기존 최고 수준의 방법들보다 Dice 점수에서 4% 향상되어 소규모 의료 영상 데이터셋에서의 일반화 능력 향상을 입증한다.

ABSTRACT

According to the 2021 World Health Organization (WHO) Classification scheme for gliomas, glioma segmentation is a very important basis for diagnosis and genotype prediction. In general, 3D multimodal brain MRI is an effective diagnostic tool. In the past decade, there has been an increase in the use of machine learning, particularly deep learning, for medical images processing. Thanks to the development of foundation models, models pre-trained with large-scale datasets have achieved better results on a variety of tasks. However, for medical images with small dataset sizes, deep learning methods struggle to achieve better results on real-world image datasets. In this paper, we propose a cross-modality attention adapter based on multimodal fusion to fine-tune the foundation model to accomplish the task of glioma segmentation in multimodal MRI brain images with better results. The effectiveness of the proposed method is validated via our private glioma data set from the First Affiliated Hospital of Zhengzhou University (FHZU) in Zhengzhou, China. Our proposed method is superior to current state-of-the-art methods with a Dice of 88.38% and Hausdorff distance of 10.64, thereby exhibiting a 4% increase in Dice to segment the glioma region for glioma treatment.

연구 동기 및 목표

• 소규모 의료 영상 데이터에 한정된 애너테이션 문제를 해결하기 위해 기초 모델을 소규모 데이터셋에 적응시키는 데 목적을 두며.
• 간질성 뇌종양 진단을 위한 다중 모달 뇌 MRI에서 Segment Anything Model(SAM)의 분할 성능 향상에 목적을 두며.
• T1, T1c, T2, FLAIR 등의 다양한 MRI 시퀀스 간의 정보를 효과적으로 융합할 수 있는 파라미터 효율적인 미세조정 방법 개발에 목적을 두며.
• Zheng저저우 제1병원에서 확보한 실세계 간질성 뇌종양 데이터셋을 기반으로 방법을 검증하는 데 목적을 두며.
• 기존 최고 수준의 방법들보다 간질성 뇌종양 분할 작업에서 뛰어난 성능을 달성하는 데 목적을 두며.

제안 방법

• 이 방법은 서로 다른 MRI 시퀀스(T1, T1c, T2, FLAIR)의 특징 간 교차주의 상호작용을 학습하는 교차모달리티 주의 어댑터(CMA) 모듈을 도입한다.
• CMA 모듈은 SAM의 시각 인코더에 삽입되어 전체 백본을 재학습하지 않고도 모odal별 특징을 개선하는 데 기여한다.
• 다중 모달 특징은 연결되어 가벼운 어댑터 헤드를 통해 처리되어 분할 마스크를 생성한다.
• 이중 교차엔트로피 손실과 Dice 손실의 조합을 사용하여 사설 간질성 뇌종양 데이터셋에서 엔드 투 엔드로 미세조정한다.
• 낮은 학습률로 어댑터를 훈련시켜 사전학습된 특징를 유지하면서도 의료 영상 도메인에 적응하도록 한다.
• 이 방법은 전체 SAM 백본을 재학습하지 않고도 SAM을 간질성 뇌종양 분할에 효율적으로 적응시킬 수 있도록 한다.

실험 결과

연구 질문

• RQ1 교차모달리티 주의 어댑터는 다중 모달 뇌 MRI에서 간질성 뇌종양 분할에 대해 SAM의 성능을 효과적으로 향상시킬 수 있는가?
• RQ2 소규모 의료 영상 데이터셋에서의 분할 정확도와 강건성 측면에서 제안된 어댑터는 기존의 미세조정 방법들과 비교해 어떻게 성능을 내는가?
• RQ3 다른 MRI 시퀀스 간의 교차주의가 간질성 뇌종양 영역 국소화를 위한 특징 표현을 어느 정도 향상시키는가?
• RQ4 특정 의료 영상 작업에 적응하면서도 SAM의 일반화 능력을 유지할 수 있는가?
• RQ5 주의 기반의 모달리티 융합이 간질성 뇌종양 분할에서 Dice 점수와 Hausdorff 거리에 어떤 영향을 미치는가?

주요 결과

• 제안된 방법은 사설 간질성 뇌종양 데이터셋에서 88.38%의 Dice 점수를 기록하여 이전 최고 수준의 방법들을 뛰어넘었다.
• Hausdorff 거리는 10.64로 감소하여 간질성 뇌종양 영역의 경계 국소화가 향상됨을 나타낸다.
• 기존 방법들보다 Dice 점수에서 4% 향상되어 뚜렷한 성능 향상을 입증하였다.
• 교차모달리티 주의 어댑터는 전체 SAM 백본을 재학습하지 않고도 다중 모달 MRI 특징의 효과적인 융합을 가능하게 하였다.
• 최소한의 파라미터 업데이트로도 높은 성능를 유지하여 효율성과 이식 가능성을 입증하였다.
• 결과는 어댑터가 소규모 데이터 의료 영상 분할 작업에서 SAM의 성능을 향상시키는 데 효과적임을 검증한다.