[논문 리뷰] Cooperation Learning Enhanced Colonic Polyp Segmentation Based on Transformer-CNN Fusion

Yuanyuan Wang, Zhaohong Deng외 4명|arXiv (Cornell University)|2023. 01. 17.

Colorectal Cancer Screening and DetectionMedicine인용 수 3

한 줄 요약

이 논문은 다중 시야 공학 학습과 이중 분지 융합 모듈을 통해 특징 학습을 향상시키는 새로운 트랜스포머-CNN 하이브리드 네트워크인 Fu-TransHNet를 제안한다. 이는 ETIS-LaribPolypDB 데이터셋에서 HardNet-MSEG 대비 12.4% 향상된 mDice 성능을 기록하며, 특히 소형 대장 폴립 분할에서 뛰어난 성능을 보였다.

ABSTRACT

Traditional segmentation methods for colonic polyps are mainly designed based on low-level features. They could not accurately extract the location of small colonic polyps. Although the existing deep learning methods can improve the segmentation accuracy, their effects are still unsatisfied. To meet the above challenges, we propose a hybrid network called Fusion-Transformer-HardNetMSEG (i.e., Fu-TransHNet) in this study. Fu-TransHNet uses deep learning of different mechanisms to fuse each other and is enhanced with multi-view collaborative learning techniques. Firstly, the Fu-TransHNet utilizes the Transformer branch and the CNN branch to realize the global feature learning and local feature learning, respectively. Secondly, a fusion module is designed to integrate the features from two branches. The fusion module consists of two parts: 1) the Global-Local Feature Fusion (GLFF) part and 2) the Dense Fusion of Multi-scale features (DFM) part. The former is built to compensate the feature information mission from two branches at the same scale; the latter is constructed to enhance the feature representation. Thirdly, the above two branches and fusion modules utilize multi-view cooperative learning techniques to obtain their respective weights that denote their importance and then make a final decision comprehensively. Experimental results showed that the Fu-TransHNet network was superior to the existing methods on five widely used benchmark datasets. In particular, on the ETIS-LaribPolypDB dataset containing many small-target colonic polyps, the mDice obtained by Fu-TransHNet were 12.4% and 6.2% higher than the state-of-the-art methods HardNet-MSEG and TransFuse-s, respectively.

연구 동기 및 목표

• 기본적인 저수준 특징 기반 기존 방법으로는 소형 대장 폴립의 정확한 분할이 어려운 문제를 해결하기 위해.
• 트랜스포머의 전역적 맥락과 CNN의 국소적 세부 정보를 융합하여 분할 정확도를 향상시키기 위해.
• 다중 척도 융합 모듈과 다중 시야 협업 학습을 통해 특징 표현을 향상시키기 위해.
• 특히 소형 폴립 탐지에 있어 벤치마크 데이터셋에서 뛰어난 성능을 달성하기 위해.

제안 방법

• 네트워크는 이중 분지 아키텍처를 사용한다: 전역적 특징 학습을 위한 트랜스포머 분지와 국소적 특징 학습을 위한 CNN 분지.
• 전역-국소 특징 융합(GlFF) 모듈은 동일한 스케일에서 양 분지의 특징을 통합하여 정보 손실을 보완한다.
• 다중 스케일 특징 융합(DFM) 모듈은 양 분지 간의 다중 스케일 특징을 집계하여 특징 표현을 강화한다.
• 다중 시야 협업 학습은 각 분지 및 융합 모듈에 대해 중요도 가중치를 동적으로 할당하여 종합적인 최종 결정을 가능하게 한다.
• 융합 모듈은 주로 주의 기반 전역 맥락과 컨볼루션 기반 국소 패턴을 가중치 통합을 통해 통합한다.
• 전체 네트워크는 역전파를 통해 최적화된 분할 손실 함수를 사용해 엔드 투 엔드로 훈련된다.

실험 결과

연구 질문

• RQ1 기존 방법 대비 하이브리드 트랜스포머-CNN 아키텍처가 소형 대장 폴립 분할 정확도 향상에 기여하는가?
• RQ2 다중 시야 협업 학습이 폴립 분할에서 특징 융합을 얼마나 효과적으로 향상시키는가?
• RQ3 제안된 융합 모듈이 전역 및 국소 특징을 모두 유지하는 데 있어 표준 연결 또는 원소별 연산보다 우수한가?
• RQ4 다양한 폴립 크기와 외관을 가진 다양한 벤치마크 데이터셋에서 모델의 일반화 능력은 어느 정도인가?

주요 결과

• ETIS-LaribPolypDB 데이터셋에서 Fu-TransHNet는 최신 기술인 HardNet-MSEG 대비 12.4% 높은 mDice 스코어를 기록했다.
• 동일한 과도한 소형 폴립을 포함한 도전적인 데이터셋에서 TransFuse-s 대비 mDice가 6.2% 향상되었다.
• Fu-TransHNet는 널리 사용되는 다섯 가지 주요 벤치마크 데이터셋에서 기존 방법을 모두 능가하여 일관된 일반화 능력을 입증했다.
• 제거 실험을 통해 GLFF 및 DFM 모듈이 성능 향상에 크게 기여하는 것으로 확인되었다.
• 다중 시야 협업 학습 메커니즘이 트랜스포머 및 CNN 분지의 기여도를 효과적으로 균형 잡아 정밀도를 향상시켰다.