[논문 리뷰] CMU-Net: A Strong ConvMixer-based Medical Ultrasound Image Segmentation Network

Fenghe Tang, Lingtao Wang외 3명|arXiv (Cornell University)|2022. 10. 24.

Medical Imaging and Analysis참고 문헌 15인용 수 15

한 줄 요약

CMU-Net은 의료 초음파 영상 분할을 위한 새로운 완전 컨volution 네트워크로, 전역적 맥락을 포착하기 위해 ConvMixer 모듈을 통합하고, 향상된 스킵 연결을 위해 다중 척도 주의 게이트를 활용한다. 이는 BUSI 데이터셋에서 73.27%의 평균 IoU와 84.16%의 F1 스코어, TUS 데이터셋에서 84.75%의 IoU와 91.71%의 F1 스코어를 기록하며, 소규모 데이터셋에서 U-Net과 트랜스포머 기반 모델을 능가하는 최신 기술 성능을 달성한다.

ABSTRACT

U-Net and its extensions have achieved great success in medical image segmentation. However, due to the inherent local characteristics of ordinary convolution operations, U-Net encoder cannot effectively extract global context information. In addition, simple skip connections cannot capture salient features. In this work, we propose a fully convolutional segmentation network (CMU-Net) which incorporates hybrid convolutions and multi-scale attention gate. The ConvMixer module extracts global context information by mixing features at distant spatial locations. Moreover, the multi-scale attention gate emphasizes valuable features and achieves efficient skip connections. We evaluate the proposed method using both breast ultrasound datasets and a thyroid ultrasound image dataset; and CMU-Net achieves average Intersection over Union (IoU) values of 73.27% and 84.75%, and F1 scores of 84.81% and 91.71%. The code is available at https://github.com/FengheTan9/CMU-Net.

연구 동기 및 목표

• 초음파 영상에서 국소 수신장이 전역 맥락을 포착하는 데 한계가 있음을 해결하기 위해.
• 간단한 연결 방식을 학습 가능한 주의 메커니즘으로 대체하여 스킵 연결의 특징 전달을 향상시키기 위해.
• 과도한 계산 비용 없이도 소규모 의료 영상 데이터셋에서 뛰어난 성능을 내는 효율적인 완전 컨볼루션 아키텍처를 개발하기 위해.
• ConvMixer와 다중 척도 주의 게이트가 유방 및 갑상선 초음파 영상의 분할 정확도를 향상시키는 데 효과적인지 검증하기 위해.

제안 방법

• 에코더는 표준 3×3 컨볼루션을 사용한 후, 장거리 공간적 의존성을 수집하기 위해 큰 커널 크기의 디프스와이즈 및 포인트와이즈 컨볼루션을 갖춘 ConvMixer 블록을 적용한다.
• ConvMixer 블록은 커널 크기 7×7의 디프스와이즈 컨볼루션과 1×1 포인트와이즈 컨볼루션을 적용하고, GELU 활성화 함수와 배치 정규화를 이어한다.
• 스킵 연결에서 관련 없는 특징을 억제하고 주목할 만한 특징을 강조하기 위해 다중 척도 주의 게이트를 도입하였으며, 다양한 척도에서 학습 가능한 주의 가중치를 사용한다.
• 디코더는 이중선형 보간과 게이팅된 특징과의 연결을 사용하여 분할 마스크를 정밀하게 보정한다.
• 클래스 불균형을 보완하기 위해 이진 교차 엔트로피 손실과 딱지 손실을 조합한 하이브리드 손실을 사용하여 네트워크를 훈련시킨다.
• 실험에서는 랜덤 회전 및 플립과 같은 데이터 증강 기법을 사용하였으며, 입력을 256×256로 리사이징하고 300 에포크 동안 배치 크기 8로 훈련한다.

실험 결과

연구 질문

• RQ1 ConvMixer 기반 에코더는 국소 컨볼루션의 실패로 인해 전역 맥락을 효과적으로 포착할 수 있는가?
• RQ2 제안된 다중 척도 주의 게이트는 표준 연결 방식에 비해 스킵 연결의 특징 전달을 향상시키는가?
• RQ3 CMU-Net은 U-Net과 TransUnet과 같은 트랜스포머 기반 모델에 비해 소규모 의료 초음파 영상 데이터셋에서 어떻게 성능을 내는가?
• RQ4 이 분할 작업에서 ConvMixer 블록의 최적의 깊이와 커널 크기는 무엇인가?
• RQ5 제거 실험에서 ConvMixer와 주의 게이트와 같은 구성 요소들이 최종 성능 향상에 얼마나 기여하는가?

주요 결과

• CMU-Net은 BUSI 유방 초음파 데이터셋에서 평균 교차율(IoU) 73.27%와 F1 스코어 84.16%를 기록하였으며, U-Net보다 IoU에서 2.89%p, F1 스코어에서 2.00%p 높은 성능을 보였다.
• TUS 갑상선 초음파 데이터셋에서 CMU-Net은 IoU 84.75%와 F1 스코어 91.71%를 달성하였으며, TransUnet을 포함한 모든 비교 모델보다 뛰어난 성능을 보였다.
• 제거 실험 결과, ConvMixer 블록을 추가함으로써 IoU가 기존 U-Net의 68.49%에서 72.36%로 향상되었고, 다중 척도 주의 게이트를 추가함으로써 73.27%로 더욱 증가하였다.
• 다중 척도 주의 게이트는 관련 특징을 강조함으로써 지식 전달을 크게 향상시켰으며, 다양한 지표에서 일관된 성능 향상이 관찰되었다.
• CMU-Net은 다양한 무작위 분할에 걸쳐 높은 정확도(97.33%)와 강건성을 유지하여 소규모 데이터셋에서 강력한 일반화 능력을 보였다.
• 소규모 데이터셋에서 TransUnet을 능가함으로써, ConvMixer 기반 접근 방식이 하이브리드 CNN-Transformer 아키텍처보다 더 자원 효율적임을 시사한다.