[논문 리뷰] EMCAD: Efficient Multi-scale Convolutional Attention Decoding for Medical Image Segmentation

Md. Mostafijur Rahman, Mustafa Munir외 1명|arXiv (Cornell University)|2024. 05. 11.

Medical Image Segmentation Techniques인용 수 10

한 줄 요약

EMCAD는 매개변수와 FLOPs를 크게 줄이면서 2D 의학 영상 분할을 향상시키는 효율적인 다스케일 깊이별 컨볼루션 주의 디코더를 도입하며, 다양한 인코더와 호환됩니다.

ABSTRACT

An efficient and effective decoding mechanism is crucial in medical image segmentation, especially in scenarios with limited computational resources. However, these decoding mechanisms usually come with high computational costs. To address this concern, we introduce EMCAD, a new efficient multi-scale convolutional attention decoder, designed to optimize both performance and computational efficiency. EMCAD leverages a unique multi-scale depth-wise convolution block, significantly enhancing feature maps through multi-scale convolutions. EMCAD also employs channel, spatial, and grouped (large-kernel) gated attention mechanisms, which are highly effective at capturing intricate spatial relationships while focusing on salient regions. By employing group and depth-wise convolution, EMCAD is very efficient and scales well (e.g., only 1.91M parameters and 0.381G FLOPs are needed when using a standard encoder). Our rigorous evaluations across 12 datasets that belong to six medical image segmentation tasks reveal that EMCAD achieves state-of-the-art (SOTA) performance with 79.4% and 80.3% reduction in #Params and #FLOPs, respectively. Moreover, EMCAD's adaptability to different encoders and versatility across segmentation tasks further establish EMCAD as a promising tool, advancing the field towards more efficient and accurate medical image analysis. Our implementation is available at https://github.com/SLDGroup/EMCAD.

연구 동기 및 목표

• 제한된 계산 리소스에서 의료 영상 분할을 위한 효율적인 디코딩을 촉진한다.
• 오프-더-쉘프(off-the-shelf), 엔코더에 구애받지 않는 디코더를 제안한다.
• 다중 스케일 및 국부 공간 관계를 효율적으로 포착하기 위해 MSCAM과 LGAG를 도입한다.
• 낮은 복잡도를 유지하면서 12개 데이터셋과 여섯 개의 분할 작업에서 우수한 성능을 입증한다.

제안 방법

• 2D 분할을 위한 계단식의 완전 합성곱 주의 디코더인 EMCAD를 제안한다.
• 다중 스케일 깊이별 컨볼루션을 사용하여 특징을 정제하는 MSCAM을 도입한다.
• 게이팅 신호와 건너뛰기 연결을 융합하기 위한 대형 커널 그룹형 주의 게이트 LGAG를 도입한다.
• 최종 분할 헤드 이전에 효율적인 업샘플링과 특징 정제를 위해 EUCB를 사용한다.
• MSCAM 내에 CAB와 SAB를 도입하여 채널 및 공간 주의를 구현한다.
• 학습을 위해 네 개 디코더 스테이지의 손실을 합산하는 다단 MUTATION 손실을 채택한다.

실험 결과

연구 질문

• RQ1 다양한 의학 영상 작업에서 매개변수 및 FLOPs를 크게 줄이면서 분할 정확도를 향상시킬 수 있는가؟
• RQ2 MSCAM과 LGAG가 디코딩 과정에서 다중 스케일 및 국부 공간 정보를 포착하는 데 어떤 기여를 하는가?
• RQ3 다양한 계층적 인코더(PVTv2 변형 등)와 호환되면서 여전히 최첨단 성능을 제공하는가?
• RQ4 MSDC의 다중 스케일 커널이 데이터셋 간 분할 성능에 미치는 영향은 무엇인가?

주요 결과

• PVT-EMCAD-B2는 26.76M 매개변수와 5.6G FLOPs로 10개의 이진 의학 분할 데이터셋에서 평균 DICE 91.10%를 달성한다.
• EMCAD는 Synapse 다기관 데이터셋에서 CASCADE와 비교하여 매개변수를 약 79.4% 감소시키고 FLOPs를 약 80.3% 감소시킨다.
• Synapse 다기관에서 PVT-EMCAD-B2는 평균 DICE 83.63%를 달성하여 SOTA 방법들보다 성능이 앞선다.
• ACDC 심장 데이터셋에서 PVT-EMCAD-B2는 평균 DICE 92.12%를 달성하여 비교 방법 중 최고다.
• LGAG+MSCAM 결합은 Synapse에서 매개변수 1.91M과 FLOPs 0.381G로 DICE 83.63%의 향상을 보여주며 제안된 게이트와 다중 스케일 주의의 효과를 입증한다.
• PVTv2-b2 인코더로 EMCAD는 Synapse에서 CASCADE보다 DICE 0.85% 포인트 앞서고 평균 DICE 83.63%를 달성하며 훨씬 적은 자원을 사용한다.