[논문 리뷰] ConvTransSeg: A Multi-resolution Convolution-Transformer Network for Medical Image Segmentation

Zhendi Gong, Andrew P. French외 2명|arXiv (Cornell University)|2022. 10. 13.

AI in cancer detection인용 수 4

한 줄 요약

이 논문은 국소적 특징 추출을 위한 다중 해상도 컨volution 신경망(CNN) 인코더와 장거리 문맥 모델링을 위한 다중 해상도 트랜스포머 디코더를 사용하는 하이브리드 의료 영상 분할 모델인 ConvTransSeg를 제안한다. 이 방법은 사전 훈련 없이도 여러 공개 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성하며, 모델 복잡도가 낮고, CNN 전용 및 트랜스포머 전용 기준 모델보다 DICE 계수와 평균 대칭 표면 거리에서 뛰어난 성능을 보였다.

ABSTRACT

Convolutional neural networks (CNNs) achieved the state-of-the-art performance in medical image segmentation due to their ability to extract highly complex feature representations. However, it is argued in recent studies that traditional CNNs lack the intelligence to capture long-term dependencies of different image regions. Following the success of applying Transformer models on natural language processing tasks, the medical image segmentation field has also witnessed growing interest in utilizing Transformers, due to their ability to capture long-range contextual information. However, unlike CNNs, Transformers lack the ability to learn local feature representations. Thus, to fully utilize the advantages of both CNNs and Transformers, we propose a hybrid encoder-decoder segmentation model (ConvTransSeg). It consists of a multi-layer CNN as the encoder for feature learning and the corresponding multi-level Transformer as the decoder for segmentation prediction. The encoder and decoder are interconnected in a multi-resolution manner. We compared our method with many other state-of-the-art hybrid CNN and Transformer segmentation models on binary and multiple class image segmentation tasks using several public medical image datasets, including skin lesion, polyp, cell and brain tissue. The experimental results show that our method achieves overall the best performance in terms of Dice coefficient and average symmetric surface distance measures with low model complexity and memory consumption. In contrast to most Transformer-based methods that we compared, our method does not require the use of pre-trained models to achieve similar or better performance. The code is freely available for research purposes on Github: (the link will be added upon acceptance).

연구 동기 및 목표

• 의료 영상 분할에서 CNN의 장거리 상관관계를 포착하는 데 한계가 있음을 해결하기 위해.
• 작은 의료 데이터셋에서 순수 트랜스포머 모델의 국소적 특징 학습 부족 문제를 극복하기 위해.
• CNN의 국소적 특징 추출 능력과 트랜스포머의 장거리 문맥 처리 능력을 다중 해상도 프레임워크 내에서 융합하는 하이브리드 아키텍처를 설계하기 위해.
• 사전 훈련 모델에 의존하지 않고도 높은 분할 정확도를 달성하면서도 낮은 모델 복잡도와 메모리 소비를 유지하는 방법을 개발하기 위해.
• 작은 의료 영상 데이터셋에 적합한 유연한 입력 크기와 효율적인 훈련을 가능하게 하기 위해.

제안 방법

• 모델은 입력 영상으로부터 계층적이고 다중 해상도의 국소적 특징을 추출하기 위해 다층 CNN을 인코더로 활용한다.
• 디코더는 자기주의 주의 메커니즘을 사용하여 인코딩된 특징을 처리함으로써 영역 간 장거리 상관관계를 모델링하는 다수준 트랜스포머이다.
• 인코더와 디코더의 특징은 다중 해상도에서 계산 효율적인 리샘플링 및 리셰이핑 연산을 통해 연결된다.
• 아키텍처는 네트워크 전반에서 특징 해상도를 유지하도록 설계되어 국소적 및 전반적 문맥의 효과적 융합을 가능하게 한다.
• 대규모 데이터셋에서의 사전 훈련이 필요 없이 표준 분할 손실 함수를 사용해 엔드 투 엔드로 훈련된다.
• 스킵 유사 연결을 통해 다중 해상도 특징 상호작용이 실현되며, 이는 스케일 간 공간 정보를 유지한다.

실험 결과

연구 질문

• RQ1 하이브리드 CNN-Transformer 아키텍처가 순수 CNN 및 순수 트랜스포머 모델보다 의료 영상 분할 작업에서 우수한 성능을 낼 수 있는가?
• RQ2 CNN 인코더와 트랜스포머 디코더를 조합한 방식이 사전 훈련 없이도 작은 의료 데이터셋에서 성능 향상을 이룰 수 있는가?
• RQ3 인코더와 디코더 간의 다중 해상도 특징 상호작용이 분할 정확도와 모델 효율성에 어떤 영향을 미치는가?
• RQ4 제안된 방법이 낮은 파라미터 수와 메모리 사용량을 유지하면서도 DICE 계수와 평균 대칭 표면 거리 측정치에서 최신 기술 수준 성능을 달성할 수 있는가?
• RQ5 저대비의 경우(예: 폴립 또는 피부 병변 분할)와 같은 도전적인 상황에서 이 방법은 얼마나 강건한가?

주요 결과

• ConvTransSeg는 ISIC2018, CVC-ClinicDB, Pannuke, OASIS-1 등 평가된 모든 데이터셋에서 가장 높은 평균 DICE 계수를 기록하여 비교된 모든 방법을 압도했다.
• 모든 데이터셋에서 가장 낮은 평균 대칭 표면 거리(ASSD)를 기록하여 경계 정밀도가 뛰어나다는 것을 나타냈다.
• CVC-ClinicDB 폴립 데이터셋에서 ConvTransSeg는 저대비 케이스에서 어려움을 겪는 ResUNet을 크게 앞섰고, 다른 트랜스포머 기반 모델과 비교해도 성능이 유사하거나 뛰어났다.
• 경쟁 모델보다 더 적은 학습 가능한 파라미터 수와 더 빠른 수렴 속도를 보이며 최신 기술 수준의 성능을 달성했으며, 이는 높은 효율성을 보여주었다.
• 정성적 결과에서는 대상과 배경 간 강도 패턴이 유사한 도전적인 케이스에서 ConvTransSeg가 ResUNet 및 다른 트랜스포머 기반 모델보다 더 정확한 예측을 내놓았다.
• 작거나 비정형적인 영역(예: 폴립)을 탐지하는 데 있어 강건성을 보였으며, 다른 방법이 실패하거나 과다 분할을 일으키는 경우에도 효과적으로 기능했다.