[논문 리뷰] Automatic Polyp Segmentation via Multi-scale Subtraction Network

Xiaoqi Zhao, Lihe Zhang외 1명|arXiv (Cornell University)|2021. 08. 11.

Advanced Image and Video Retrieval Techniques참고 문헌 27인용 수 26

한 줄 요약

MSNet은 다중 스케일 뺄셈 모듈을 도입하여 폴립 분할을 위한 교차 레벨 차이 특징을 추출하고, 세부에서 구조로의 감독을 위한 학습 없이 LossNet를 도입해 최첨단 성능과 실시간 속도(~70fps)를 달성합니다.

ABSTRACT

More than 90\% of colorectal cancer is gradually transformed from colorectal polyps. In clinical practice, precise polyp segmentation provides important information in the early detection of colorectal cancer. Therefore, automatic polyp segmentation techniques are of great importance for both patients and doctors. Most existing methods are based on U-shape structure and use element-wise addition or concatenation to fuse different level features progressively in decoder. However, both the two operations easily generate plenty of redundant information, which will weaken the complementarity between different level features, resulting in inaccurate localization and blurred edges of polyps. To address this challenge, we propose a multi-scale subtraction network (MSNet) to segment polyp from colonoscopy image. Specifically, we first design a subtraction unit (SU) to produce the difference features between adjacent levels in encoder. Then, we pyramidally equip the SUs at different levels with varying receptive fields, thereby obtaining rich multi-scale difference information. In addition, we build a training-free network "LossNet" to comprehensively supervise the polyp-aware features from bottom layer to top layer, which drives the MSNet to capture the detailed and structural cues simultaneously. Extensive experiments on five benchmark datasets demonstrate that our MSNet performs favorably against most state-of-the-art methods under different evaluation metrics. Furthermore, MSNet runs at a real-time speed of $\sim$70fps when processing a $352 imes 352$ image. The source code will be publicly available at \url{https://github.com/Xiaoqi-Zhao-DLUT/MSNet}. \keywords{Colorectal Cancer \and Automatic Polyp Segmentation \and Subtraction \and LossNet.}

연구 동기 및 목표

• 조기 대장암 검출을 위한 자동적이고 정확한 폴립 분할을 목표로 한다.
• U-모양 네트워크에서의 간단한 특징 융합으로 인한 경계 흐림과 위치 추정 문제를 극복한다.
• 교차 레벨 보완성을 극대화하기 위해 뺄셈 기반의 다중 스케일 아키텍처를 제안한다.
• 세부에서 구조로의 정보를 감독하기 위한 학습 없이 작동하는 LossNet를 도입한다.

제안 방법

• 인접 인코더 특징 간에 Conv(|F_A ⊖ F_B|)를 계산하는 뺄셈 단위(SU)를 정의한다.
• 피라미드 형태로 SU를 쌓아 다중 스케일 교차 레벨 차이 정보를 포착한다.
• 각 인코더 레벨에 대해 레벨별 차이 특성과 교차 레벨 차이 특징을 보완 강화된 CE^i 특성으로 집계한다.
• CE^i 특징을 통합하는 디코더를 사용해 폴립 분할을 생성한다.
• 다중 스케일 L2 손실 L_f를 여러 수준에서 사용하여 예측과 정답 특징을 감독하기 위해 학습 없이 작동하는 네트워크인 LossNet(예: VGG-16 특징)을 도입한다.
• L_f를 가중된 IoU 및 가중된 BCE 손실과 결합하여 최종 학습 목적 L_total = L_IoU^w + L_BCE^w + L_f를 얻는다.

실험 결과

연구 질문

• RQ1 뺄셈 기반의 다중 스케일 융합이 더 나은 경계 보존과 위치 추정을 가져오는가, 더하기/연결 기반 융합보다?
• RQ2 교차 레벨 차이 정보가 크기와 모양이 다양한 폴립의 분할을 개선하는가?
• RQ3 학습 없이 작동하는 LossNet가 특징 수준 전반에서 세부에서 구조로의 정보를 효과적으로 감독하는가?
• RQ4 표준 폴립 분할 벤치마크에서 MSNet의 성능 및 속도 이점은 무엇인가?

주요 결과

Methods	mDice	mIoU	Fβ^w	Sα	Eφ^max	MAE
ColonDB U-Net	0.519	0.449	0.498	0.711	0.763	0.061
ColonDB U-Net++	0.490	0.413	0.467	0.691	0.762	0.064
ColonDB SFA	0.467	0.351	0.379	0.634	0.648	0.094
ColonDB PraNet	0.716	0.645	0.699	0.820	0.847	0.043
ColonDB MSNet	0.755	0.678	0.737	0.836	0.883	0.041
ETIS U-Net	0.406	0.343	0.366	0.682	0.645	0.036
ETIS U-Net++	0.413	0.342	0.390	0.681	0.704	0.035
ETIS SFA	0.297	0.219	0.231	0.557	0.515	0.109
ETIS PraNet	0.630	0.576	0.600	0.791	0.792	0.031
ETIS MSNet	0.719	0.664	0.678	0.840	0.830	0.020
Kvasir U-Net	0.821	0.756	0.794	0.858	0.901	0.055
Kvasir U-Net++	0.824	0.753	0.808	0.862	0.907	0.048
Kvasir SFA	0.725	0.619	0.670	0.782	0.828	0.075
Kvasir PraNet	0.901	0.848	0.885	0.915	0.943	0.030
Kvasir MSNet	0.907	0.862	0.893	0.922	0.944	0.028
CVC-T U-Net	0.717	0.639	0.684	0.842	0.867	0.022
CVC-T U-Net++	0.714	0.636	0.687	0.838	0.884	0.018
CVC-T SFA	0.465	0.332	0.341	0.640	0.604	0.065
CVC-T PraNet	0.873	0.804	0.843	0.924	0.938	0.010
CVC-T MSNet	0.869	0.807	0.849	0.925	0.943	0.010
ClinicDB U-Net	0.824	0.767	0.811	0.889	0.917	0.019
ClinicDB U-Net++	0.797	0.741	0.785	0.872	0.898	0.022
ClinicDB SFA	0.698	0.615	0.647	0.793	0.816	0.042
ClinicDB PraNet	0.902	0.858	0.896	0.935	0.958	0.009
ClinicDB MSNet	0.921	0.879	0.914	0.941	0.972	0.008

• MSNet은 다섯 개 데이터셋에서 여섯 가지 지표 기준으로 U-Net, U-Net++, SFA, PraNet를 능가한다.
• ColonDB에서 MSNet는 mDice 0.755, mIoU 0.678, Fβ^w 0.737, Sα 0.836, Eφ^max 0.883, MAE 0.041를 달성한다.
• ETIS에서 MSNet는 mDice 0.719, mIoU 0.664, Fβ^w 0.678, Sα 0.840, Eφ^max 0.830, MAE 0.020를 달성한다.
• Kvasir에서 MSNet는 mDice 0.907, mIoU 0.862, Fβ^w 0.893, Sα 0.922, Eφ^max 0.944, MAE 0.028를 달성한다.
• CVC-T에서 MSNet는 mDice 0.869, mIoU 0.807, Fβ^w 0.849, Sα 0.925, Eφ^max 0.943, MAE 0.010를 달성한다.
• ClinicDB에서 MSNet는 mDice 0.921, mIoU 0.879, Fβ^w 0.914, Sα 0.941, Eφ^max 0.972, MAE 0.008를 달성한다.
• MSNet은 352×352 이미지에서 약 70 fps로 작동하며 보고된 폴립 분할 방법들 중에서 최속이다.