[논문 리뷰] Enhanced U-Net: A Feature Enhancement Network for Polyp Segmentation

Krushi Patel, Andrés M. Bur외 1명|arXiv (Cornell University)|2021. 05. 03.

Colorectal Cancer Screening and Detection참고 문헌 34인용 수 7

한 줄 요약

이 논문은 대장내시경 영상에서 폴립 분할을 향상시키기 위해 두 가지 신규 모듈—세マン틱 특징 강화 모듈(SFEM)과 적응형 글로벌 컨텍스트 모듈(AGCM)—를 포함한 향상된 U-Net을 제안한다. SFEM은 다중 척도 비국소 주의 메커니즘을 사용하여 깊은 세맨틱 특징을 풍부하게 한다. 반면 AGCM는 디코더 유도 공간 교차 주의를 통해 중요하고 미세한 인코더 특징을 적응적으로 집계하여, 다섯 개의 기준 데이터셋에서 최신 기술 수준(SOTA)의 성능을 달성하며, U-Net 대비 DICE 점수 최대 12.09% 향상된다.

ABSTRACT

Colonoscopy is a procedure to detect colorectal polyps which are the primary cause for developing colorectal cancer. However, polyp segmentation is a challenging task due to the diverse shape, size, color, and texture of polyps, shuttle difference between polyp and its background, as well as low contrast of the colonoscopic images. To address these challenges, we propose a feature enhancement network for accurate polyp segmentation in colonoscopy images. Specifically, the proposed network enhances the semantic information using the novel Semantic Feature Enhance Module (SFEM). Furthermore, instead of directly adding encoder features to the respective decoder layer, we introduce an Adaptive Global Context Module (AGCM), which focuses only on the encoder's significant and hard fine-grained features. The integration of these two modules improves the quality of features layer by layer, which in turn enhances the final feature representation. The proposed approach is evaluated on five colonoscopy datasets and demonstrates superior performance compared to other state-of-the-art models.

연구 동기 및 목표

• 변동하는 형태, 크기, 색상, 질감, 낮은 대비, 배경 혼동 등으로 인해 대장내시경 영상에서 폴립 분할에 도전 과제가 존재하는 것을 해결하기 위해.
• 공간 정보를 손실 없이 세맨틱 컨텍스트를 향상시킴으로써 U-Net 기반 모델의 특징 표현을 향상시키기 위해.
• 주요 특징과 미세한 해상도의 특징만을 주의 메커니즘을 통해 인코더에서 디코더로 선택적으로 집계하기 위해.
• 적응형 특징 정련 및 다중 척도 컨텍스트 모델링을 통해 미리 보지 않은 데이터셋에 대한 모델 일반화 및 강건성을 향상시키기 위해.
• 새로운 주의 기반 특징 강화 전략을 사용하여 여러 공개 대장내시경 데이터셋에서 기존 최신 기술 수준의 방법들을 능가하기 위해.

제안 방법

• 세맨틱 특징 강화 모듈(SFEM)은 다양한 수신장의 패치 기반 비국소 주의 블록을 적용하여 다중 척도 폴립 특징을 캡처하고, 출력을 융합하여 깊은 세맨틱 표현을 풍부하게 한다.
• 적응형 글로벌 컨텍스트 모듈(AGCM)은 디코더 특징과 인코더 특징 간의 공간 교차 주의를 사용하여, 인코더에서 가장 중요한, 분할이 어려운 특징만을 선택적으로 주목하고 집계한다.
• AGCM는 디코더 특징에 기반하여 주의 가중치를 동적으로 계산하여 잡음과 관련 없는 특징을 억제하고, 미세한 해상도의 특징과 구별력 있는 영역에 집중한다.
• 각 디코더 레이어에서 DICE 손실, 포칼 손실, 가중치가 부여된 IoU 손실을 조합한 복합 손실 함수를 적용하여 어려운 양성 및 음성 샘플에 중점을 둔다.
• SFEM에서 얻은 향상된 특징은 각 디코더 레이어에서 AGCM 처리된 특징과 연결되어 특징 표현의 반복적 정련을 가능하게 한다.
• 모델는 엔드 투 엔드로 훈련되며, 보조 손실이 각 디코더 레이어에 적용되어 훈련 안정성과 기울기 흐름 향상을 도모한다.

실험 결과

연구 질문

• RQ1 다중 척도 비국소 주의 메커니즘은 공간 해상도를 희생시키지 않고도 폴립 분할에서 세맨틱 특징 표현을 향상시킬 수 있는가?
• RQ2 디코더 유도 주의는 특히 분할이 어려운 영역에서 관련 있는 인코더 특징의 선택을 향상시킬 수 있는가?
• RQ3 적응형 글로벌 컨텍스트 모델링의 통합이 새로운 대장내시경 데이터셋에서 더 나은 일반화를 이끌어낼 수 있는가?
• RQ4 제안된 복합 손실 함수는 어려운 양성 및 음성 샘플에 대한 학습을 어느 정도 향상시키는가?
• RQ5 제안된 향상된 U-Net은 다양한 데이터셋에서 기존 최신 기술 수준의 모델 대비 분할 정확도와 강건성 측면에서 어떻게 비교되는가?

주요 결과

• EndoScene 데이터셋에서 제안된 모델은 기준 U-Net 대비 DICE 점수 12.09% 향상되고, IoU는 16.06% 향상되었다.
• Kvasir-SEG 데이터셋에서 모델은 U-Net 대비 DICE 점수 9.73% 향상되었고, IoU는 13.61% 향상되어 ACSNet과 PraNet을 능가했다.
• ColonDB 데이터셋에서 모델은 평균 DICE 점수를 U-Net 대비 22.79% 향상시키고, 평균 IoU는 21.48% 향상시켜 강력한 일반화 능력을 보였다.
• ETIS 데이터셋에서 모델은 평균 DICE 점수를 U-Net 대비 25.25% 향상시키고, 평균 IoU는 24.7% 향상시켜 다양한 폴립 외관에 대한 강건성을 보였다.
• CVC-300 데이터셋에서 모델은 평균 DICE 점수를 U-Net 대비 17.62% 향상시키고, 평균 IoU는 18.6% 향상시켜 기준 테스트에서 일관된 성능을 보였다.
• 절단 실험 결과, SFEM과 AGCM가 개별적으로 성능 향상을 이끌었으며, AGCM는 set-2에서 최대 DICE 점수 6.06% 향상 기여했고, 복합 손실 함수는 set-1에서 DICE 점수 8.46% 향상되었다.