[논문 리뷰] ConvFormer: Combining CNN and Transformer for Medical Image Segmentation

Pengfei Gu, Yejia Zhang외 2명|arXiv (Cornell University)|2022. 11. 15.

Radiomics and Machine Learning in Medical Imaging인용 수 4

한 줄 요약

이 논문은 의료 영상 분할을 위한 계층적 CNN-Transformer 하이브리드 아키텍처인 ConvFormer을 제안한다. 이는 컨볼루션 네트워크의 국소적 인덕티브 바이어스와 트랜스포머의 장거리 모델링 능력을 통합한다. 변형 가능 트랜스포머에 컨볼루션 피드포워드 모듈을 통합한 개선된 변형 가능 트랜스포머, 잔차형 하이브리드 스템, 추가적인 다중 스케일 인코더를 도입함으로써, ConvFormer는 2D 및 3D 의료 영상 데이터셋에서 기존의 CNN 전용 및 트랜스포머 전용 모델을 능가하는 최신 기술 수준(SOTA) 성능을 달성하며, 사전 훈련 없이도 효율적인 훈련을 유지한다.

ABSTRACT

Convolutional neural network (CNN) based methods have achieved great successes in medical image segmentation, but their capability to learn global representations is still limited due to using small effective receptive fields of convolution operations. Transformer based methods are capable of modelling long-range dependencies of information for capturing global representations, yet their ability to model local context is lacking. Integrating CNN and Transformer to learn both local and global representations while exploring multi-scale features is instrumental in further improving medical image segmentation. In this paper, we propose a hierarchical CNN and Transformer hybrid architecture, called ConvFormer, for medical image segmentation. ConvFormer is based on several simple yet effective designs. (1) A feed forward module of Deformable Transformer (DeTrans) is re-designed to introduce local information, called Enhanced DeTrans. (2) A residual-shaped hybrid stem based on a combination of convolutions and Enhanced DeTrans is developed to capture both local and global representations to enhance representation ability. (3) Our encoder utilizes the residual-shaped hybrid stem in a hierarchical manner to generate feature maps in different scales, and an additional Enhanced DeTrans encoder with residual connections is built to exploit multi-scale features with feature maps of different scales as input. Experiments on several datasets show that our ConvFormer, trained from scratch, outperforms various CNN- or Transformer-based architectures, achieving state-of-the-art performance.

연구 동기 및 목표

• 작은 유효 수용장역으로 인해 CNN이 장거리 상관관계를 포착하는 데 한계가 있음.
• 순수한 트랜스포머 모델에서 국소적 인덕티브 바이어스의 부족으로 인해 의료 영상 분할 성능에 악영향을 미침.
• 계층적 인코더 아키텍처에서 다양한 단계의 특징 맵을 통합함으로써 다중 스케일 특징 표현을 향상시키기 위해 노력함.
• 의료 영상 데이터에 더 잘 적응하기 위해 위치 인코딩의 유연성을 향상시키기 위해 노력함.
• 기존의 CNN 및 트랜스포머 기반 방법보다 분할 정확도에서 뛰어난 성능을 내는 통합형, 엔드 투 엔드 학습 가능한 아키텍처를 설계함.

제안 방법

• 변형 가능 트랜스포머(DeTrans)의 피드포워드 모듈을 컨볼루션 레이어로 재설계하여 국소적 특징 학습 능력을 향상시키고, 개선된 DeTrans 모듈을 생성함.
• 깊이분리형 컨볼루션과 개선된 DeTrans를 결합한 잔차형 하이브리드 스템을 개발하여 다중 스케일에서 국소적 및 전역적 표현을 동시에 캡처함.
• 하이브리드 스템을 사용해 계층적 인코더를 구축하여 다중 스케일 특징 맵을 생성하고, 이를 잔차 연결이 있는 추가적인 개선된 DeTrans 인코더에 공급함으로써 스케일 간의 문맥 정보를 효과적으로 활용함.
• 고정된 사인파 위치 인코딩에 컨볼루션 레이어를 추가하여 적응성과 특징 표현의 유연성을 향상시킨 개선된 위치 인코딩(EPE)을 도입함.
• 스킵 연결을 갖춘 U-Net 스타일 디코더를 활용하여 인코더의 특징을 사용해 분할 마스크를 정밀하게 보정함.
• 사전 훈련 없이 공개 및 내부 데이터셋에서 전체 네트워크를 엔드 투 엔드로 사전 훈련 없이 훈련함.

Fig. 1 : (a) An overview of our Enhanced DeTrans with the proposed enhanced positional encoding (EPE) and Conv-based feed forward module (FFM) (shown in gray color). (b) Our ConvFormer: The two big boxes on the left are for the encoder and decoder, respectively (best viewed in color).

실험 결과

연구 질문

• RQ1 CNN과 트랜스포머를 융합한 하이브리드 아키텍처가 국소적 및 전역적 특징 학습의 균형을 맞추어 의료 영상 분할 성능을 향상시킬 수 있는가?
• RQ2 DeTrans에 컨볼루션 피드포워드 모듈을 도입함으로써 의료 영상에서 국소적 맥락을 모델링하는 능력이 향상되는가?
• RQ3 기본 단일 스케일 인코더와 비교했을 때, 다중 스케일 특징 입력을 갖는 계층적 인코더는 분할 성능 향상에 어느 정도 기여하는가?
• RQ4 제안된 개선된 위치 인코딩(EPE)은 모델 일반화 및 특징 표현 향상에 얼마나 효과적인가?
• RQ5 사전 훈련 없이 훈련되는 통합형 CNN-Transformer 아키텍처가 다양한 의료 영상 작업에서 최신 기술 수준(SOTA) 성능을 달성할 수 있는가?

주요 결과

• 2017 ISIC 피부 병변 데이터셋에서 ConvFormer는 딱도 스코어 0.955와 IoU 0.914를 기록하여 UNETR 및 CoTr를 포함한 모든 비교 모델을 능가함.
• 2017 MM-WHS CT 데이터셋에서 ConvFormer는 딱도 스코어 0.980과 IoU 0.957을 기록하여 3D Abdominal 장기 분할에서 뛰어난 성능을 보임.
• 내부 림프절 데이터셋에서 ConvFormer는 딱도 스코어 0.844와 IoU 0.740을 기록하였으며, 두 번째로 우수한 성능을 낸 방법보다 딱도 스코어에서 0.031 향상됨.
• 절단 실험 결과, 개선된 DeTrans 모듈을 제거하면 F1 스코어가 0.4% 감소하였고, 추가적인 다중 스케일 인코더를 제거하면 0.5% 감소하여 각각의 기여도를 확인함.
• 하이브리드 스템을 제거한 경우(즉, 단순히 CNN만 사용한 경우) F1 스코어가 9.6% 감소하여 국소-전역 학습의 중요성을 입증함.
• 개선된 위치 인코딩(EPE)은 고정된 사인파 위치 인코딩 대비 F1 스코어에서 0.4% 향상시켜 특징 표현에서의 효과성을 확인함.

Fig. 2 : Some visual qualitative results on the lymph node dataset (a) and the 2017 MM-WHS CT dataset (b), demonstrating the capability of our ConvFormer.