[논문 리뷰] DilatedSegNet: A Deep Dilated Segmentation Network for Polyp Segmentation

Nikhil Kumar Tomar, Debesh Jha외 1명|arXiv (Cornell University)|2022. 10. 24.

Colorectal Cancer Screening and Detection인용 수 4

한 줄 요약

DilatedSegNet은 확장 컨볼루션 풀링(DCP) 블록과 CBAM 주의 메커니즘 모듈을 활용하여 특징 추출 및 경계 검출을 향상시키는 실시간, 경량 딥러닝 아키텍처로, 사전 훈련된 ResNet50 인코더를 기반으로 한 대肠내 endoscopy 영상에서의 폴립 세분화를 위한 것이다. 공개 데이터셋에서 0.90의 Dice 계수와 0.83의 mIoU를 기록하며 33.68 FPS의 추론 속도를 달성하여 임상 적용에 적합한 높은 정확도와 일반화 능력을 입증한다.

ABSTRACT

Colorectal cancer (CRC) is the second leading cause of cancer-related death worldwide. Excision of polyps during colonoscopy helps reduce mortality and morbidity for CRC. Powered by deep learning, computer-aided diagnosis (CAD) systems can detect regions in the colon overlooked by physicians during colonoscopy. Lacking high accuracy and real-time speed are the essential obstacles to be overcome for successful clinical integration of such systems. While literature is focused on improving accuracy, the speed parameter is often ignored. Toward this critical need, we intend to develop a novel real-time deep learning-based architecture, DilatedSegNet, to perform polyp segmentation on the fly. DilatedSegNet is an encoder-decoder network that uses pre-trained ResNet50 as the encoder from which we extract four levels of feature maps. Each of these feature maps is passed through a dilated convolution pooling (DCP) block. The outputs from the DCP blocks are concatenated and passed through a series of four decoder blocks that predicts the segmentation mask. The proposed method achieves a real-time operation speed of 33.68 frames per second with an average dice coefficient of 0.90 and mIoU of 0.83. Additionally, we also provide heatmap along with the qualitative results that shows the explanation for the polyp location, which increases the trustworthiness of the method. The results on the publicly available Kvasir-SEG and BKAI-IGH datasets suggest that DilatedSegNet can give real-time feedback while retaining a high \ac{DSC}, indicating high potential for using such models in real clinical settings in the near future. The GitHub link of the source code can be found here: \url{https://github.com/nikhilroxtomar/DilatedSegNet}.

연구 동기 및 목표

• 대장내시경 검사 중 간과된 폴립이 간격 대장암을 유발하는 임상적 과제를 해결하기 위해.
• 임상 내시경 워크플로우에 통합 가능한 실시간, 정확도 높고 일반화 능력이 우수한 폴립 세분화 모델을 개발하기 위해.
• 확장 컨볼루션과 주의 메커니즘을 통해 인코더 내 특징 표현을 향상시켜 세분화 성능을 향상시키기 위해.
• 핵심 폴립 영역을 강조하는 히트맵을 생성하여 모델의 해석 가능성 확보를 위해.
• 표준 하드웨어에서의 구현을 고려해 높은 정확도와 계산 효율성의 균형을 확보하기 위해.

제안 방법

• 네 수준에서 다중 척도 특징 맵을 추출하기 위해 사전 훈련된 ResNet50을 인코더로 사용한다.
• 각 특징 맵은 수신장 영역을 확장하기 위해 비율 1, 3, 6, 9를 가진 병렬 확장 컨볼루션을 사용하는 확장 컨볼루션 풀링(DCP) 블록을 거친다.
• DCP 블록의 출력은 연결되어 디코더로 전달되며, 디코더는 업샘플링, 스킵 연결 결합, 잔차 블록, CBAM 주의 모듈로 구성된다.
• 마지막 디코더 블록 이후 1×1 컨볼루션 레이어를 통해 최종 세분화 마스크가 생성된다.
• 모델은 표준 이진 교차 엔트로피 손실과 Dice 손실을 사용하여 훈련되며, 훈련 중 데이터 증강 기법이 적용된다.
• 폴립 영역에 대한 주의를 시각화하기 위해 Grad-CAM 방식의 히트맵을 활용하여 모델의 해석 가능성 향상.

실험 결과

연구 질문

• RQ1 경량화되고 실시간 동작이 가능한 세분화 네트워크가 추론 속도를 희생시키지 않고도 높은 정확도를 달성할 수 있는가?
• RQ2 확장 컨볼루션과 주의 메커니즘의 통합이 작은 폴립 및 평평한 폴립의 세분화 성능에 어떻게 기여하는가?
• RQ3 제안된 아키텍처가 다른 임상 환경에서의 새로운 데이터셋에 대해 얼마나 잘 일반화되는가?
• RQ4 주의 메커니즘과 DCP 블록이 경계 구분 및 모델의 강건성에 실제로 기여하는가?
• RQ5 네트워크에서 생성된 히트맵이 폴립 지역을 신뢰할 만한 시각적 설명으로 제공할 수 있는가?

주요 결과

• DilatedSegNet은 Kvasir-SEG 데이터셋에서 평균 Dice 계수(DSC) 0.90과 mIoU 0.83을 기록하며, 9개의 벤치마크 방법을 초월한다.
• 모델은 오직 1811만 개의 파라미터와 27.1 GMac FLOPs를 사용하여 표준 하드웨어에서 실시간으로 33.68 프레임/초 속도로 작동한다.
• 크로스-데이터셋 평가에서 Kvasir-SEG에서 훈련하고 CVC-ClinicDB에서 테스트한 결과, DSC 0.8278, mIoU 0.7545를 기록하며, 이는 DeepLabv3+보다 DSC 기준 1.36% 높은 성능이다.
• 미사용된 BKAI-IGH 데이터셋에서의 테스트 결과, 이전 SOTA 모델인 PraNet보다 DSC 2.47% 높고, mIoU 2.97% 높은 성능을 기록한다.
• 제거 실험 결과, DCP 블록이나 CBAM 주의 모듈을 제거할 경우 DSC는 3.3% 감소하고, mIoU는 3.9% 감소함으로써 이들의 성능 향상에 핵심적인 역할을 함을 입증한다.
• 히트맵 시각화 결과, 모델이 폴립 영역과 경계에 주목하고 있음을 확인하여 해석 가능성과 임상적 신뢰도를 향상시킴을 확인하였다.