[논문 리뷰] Deep ensembles based on Stochastic Activation Selection for Polyp Segmentation

Alessandra Lumini, Loris Nanni외 1명|arXiv (Cornell University)|2021. 04. 02.

Vehicle License Plate Recognition참고 문헌 29인용 수 4

한 줄 요약

이 논문은 수정된 DeepLab 아키텍처에서 확률적 활성화 선택을 사용한 딥 앙상블 방법을 제안한다. ReLU 활성화 함수를 대체 함수로 교체하고, 다양한 디코더 변형(ResNet, Xception, EfficientNet, MobileNet)을 조합함으로써, Kvasir-SEG 데이터셋에서 딱지 점수(Dice score) 0.884와 mIoU 0.818를 달성하여, 폴립 세그멘테이션 분야에서 최신 기술 수준의 성능을 입증한다.

ABSTRACT

Semantic segmentation has a wide array of applications ranging from medical-image analysis, scene understanding, autonomous driving and robotic navigation. This work deals with medical image segmentation and in particular with accurate polyp detection and segmentation during colonoscopy examinations. Several convolutional neural network architectures have been proposed to effectively deal with this task and with the problem of segmenting objects at different scale input. The basic architecture in image segmentation consists of an encoder and a decoder: the first uses convolutional filters to extract features from the image, the second is responsible for generating the final output. In this work, we compare some variant of the DeepLab architecture obtained by varying the decoder backbone. We compare several decoder architectures, including ResNet, Xception, EfficentNet, MobileNet and we perturb their layers by substituting ReLU activation layers with other functions. The resulting methods are used to create deep ensembles which are shown to be very effective. Our experimental evaluations show that our best ensemble produces good segmentation results by achieving high evaluation scores with a dice coefficient of 0.884, and a mean Intersection over Union (mIoU) of 0.818 for the Kvasir-SEG dataset. To improve reproducibility and research efficiency the MATLAB source code used for this research is available at GitHub: https://github.com/LorisNanni.

연구 동기 및 목표

• 내 endoscopy 동안 폴립 세그멘테이션 정확도를 향상시키기 위해 딥 러닝을 활용한다.
• 다양한 디코더 아키텍처가 세그멘테이션 성능에 미치는 영향을 조사한다.
• 확률적 선택을 통해 ReLU 활성화 함수를 대체 함수로 교체하는 것의 효과를 탐색한다.
• 일반화 능력과 세그멘테이션 정확도를 향상시키는 강력한 딥 앙상블 모델을 개발한다.
• 제안된 방법의 재현 가능성을 향상시키기 위해 MATLAB 소스 코드를 공개한다.

제안 방법

• 공유된 인코더와 다수의 디코더 백본(ResNet, Xception, EfficientNet, MobileNet)을 사용한 수정된 DeepLab 아키텍처를 활용한다.
• 각 디코더는 확률적으로 ReLU 활성화 함수를 대체 활성화 함수로 교체함으로써 변형된다.
• 다양한 디코더와 확률적 활성화 구성이 포함된 여러 모델을 조합하여 앙상블를 구성한다.
• 최종 예측은 앙상블 구성원의 출력을 평균화하여 정확도와 일반화 능력을 향상시킨다.
• 모델 불확실성 추정과 세그멘테이션 정확도 향상을 위해 아키텍처 다양성과 활성화 함수 변형을 활용한다.
• 재현 가능성을 확보하고 향후 연구를 촉진하기 위해 GitHub에 구현 코드를 공개한다.

실험 결과

연구 질문

• RQ1 ReLU를 대체 활성화 함수로 교체할 경우 폴립 세그멘테이션 성능에 어떤 영향을 미치는가?
• RQ2 확률적 활성화 선택과 함께 사용할 때, 디코더 아키텍처 중에서(ResNet, Xception, EfficientNet, MobileNet) 어느 것이 가장 우수한 세그멘테이션 결과를 낼 수 있는가?
• RQ3 모델 앙상블는 폴립 세그멘테이션 작업에서 정확도와 견고성 향상에 얼마나 기여하는가?
• RQ4 다양한 디코더 아키텍처에 걸쳐 확률적 활성화 선택을 통해 기존 모델에 비해 향상된 일반화 능력을 달성할 수 있는가?
• RQ5 제안된 앙상블 방법은 Kvasir-SEG 벤치마크에서 기존 최신 기술 수준의 접근 방식과 비교해 어떻게 성능을 내는가?

주요 결과

• 제안된 딥 앙상블은 Kvasir-SEG 데이터셋에서 딱지 계수(Dice coefficient) 0.884를 달성하여 예측된 폴립 영역과 진짜 폴립 영역 간의 높은 겹침을 나타낸다.
• 모델은 평균 교차율(mIoU) 0.818을 달성하여 세그멘테이션 정확도에서 뛰어난 성능을 보였다.
• 다양한 디코더 아키텍처와 확률적 활성화 선택의 조합은 세그멘테이션의 견고성과 일반화 능력을 크게 향상시켰다.
• ReLU 대신 대체 활성화 함수를 사용함으로써 더 나은 특징 표현과 모델 안정성이 향상되었다.
• 앙상블 방법은 개별 모델을 초월하여 Kvasir-SEG 벤치마크에서 새로운 최신 기술 수준의 성능을 확립했다.
• MATLAB 소스 코드의 공개는 재현 가능성을 높이고 향후 의료 영상 세그멘테이션 분야의 연구를 지원한다.