[논문 리뷰] Duplex Contextual Relation Network for Polyp Segmentation

Zijin Yin, Kongming Liang외 2명|arXiv (Cornell University)|2021. 03. 11.

Colorectal Cancer Screening and Detection인용 수 9

한 줄 요약

이 논문은 다중 주의 모듈과 영역 기반 에피소딕 메모리를 사용하여 이미 내부 및 이미지 간의 맥락적 관계를 포착하는 새로운 딥러닝 프레임워크인 Duplex Contextual Relation Network (DCRNet)을 제안한다. 이 방법은 EndoScene, Kvasir-SEG, PICCOLO에서 최신 기술 수준의 성능을 달성하며, PICCOLO에서 53 FPS의 추론 속도와 85.13%의 Dice 점수를 기록하여 임상 적용에 적합한 높은 정확도와 효율성을 입증한다.

ABSTRACT

Polyp segmentation is of great importance in the early diagnosis and treatment of colorectal cancer. Since polyps vary in their shape, size, color, and texture, accurate polyp segmentation is very challenging. One promising way to mitigate the diversity of polyps is to model the contextual relation for each pixel such as using attention mechanism. However, previous methods only focus on learning the dependencies between the position within an individual image and ignore the contextual relation across different images. In this paper, we propose Duplex Contextual Relation Network (DCRNet) to capture both within-image and cross-image contextual relations. Specifically, we first design Interior Contextual-Relation Module to estimate the similarity between each position and all the positions within the same image. Then Exterior Contextual-Relation Module is incorporated to estimate the similarity between each position and the positions across different images. Based on the above two types of similarity, the feature at one position can be further enhanced by the contextual region embedding within and across images. To store the characteristic region embedding from all the images, a memory bank is designed and operates as a queue. Therefore, the proposed method can relate similar features even though they come from different images. We evaluate the proposed method on the EndoScene, Kvasir-SEG and the recently released large-scale PICCOLO dataset. Experimental results show that the proposed DCRNet outperforms the state-of-the-art methods in terms of the widely-used evaluation metrics.

연구 동기 및 목표

• 내 endoscopy 영상에서 폴립의 외형에 큰 변동성과 흐린 경계선이 존재하는 문제를 해결하기 위해.
• 기존 방법에서 종종 忽시되는 다양한 이미지 간에 공존하는 시각적 패턴을 활용하여 분할 정확도를 향상시키기 위해.
• 내부 이미지 및 외부 이미지 맥락적 관계를 함께 모델링하여 특징 표현을 향상시키기 위해.
• 실시간 임상 적용에 적합한 효율적이고 경량화된 아키텍처를 설계하기 위해.
• 메모리 보강 기반 메커니즘을 사용하여 이미지 간 맥락 모델링의 효과를 검증하기 위해.

제안 방법

• 이 방법은 ResNet-34 인코더를 기반으로 한 U-Net 기반의 이중 브랜치 아키텍처를 사용하며, 두 개의 병렬 모듈인 내부 맥락 관계 모듈(Interior Contextual-Relation Module, ICR)과 외부 맥락 관계 모듈(Exterior Contextual-Relation Module, ECR)을 통합한다.
• ICR 모듈은 위치 주의 메커니즘을 사용하여 단일 이미지 내 모든 공간 위치 간의 유사도를 계산하고, 지역 표현에 전역 맥락을 적응적으로 통합함으로써 강화한다.
• ECR 모듈은 주어진 영역의 특징과 다른 이미지의 영역 특징 간의 유사도를 계산하여, 학습된 의미 일관성을 통해 이미지 간 특징 향상 기능을 수행한다.
• 지난번에 처리된 이미지들로부터 특징 영역 임베딩을 저장하고 검색할 수 있도록, 영역 기반 크로스 배치 메모리(Region Cross-Batch Memory, ROM)를 큐 형태로 구현하여 장거리 간 샘플 간 특징 상관관계를 가능하게 한다.
• 최종 분할 예측은 ICR 및 ECR 모듈의 특징을 융합하여 내부 및 외부 이미지 맥락을 통합함으로써 더 높은 분류 성능을 달성한다.
• 모델은 Adam 최적화기를 사용하여 150 에포크 동안 학습되며, 기본 학습률은 1e-4이며, 데이터 증강으로 랜덤 플립, 줌, 이동, 회전을 적용한다.

실험 결과

연구 질문

• RQ1 이미지 간 맥락 관계를 모델링하는 것이 이미지 내 맥락을 넘어서 폴립 분할 성능 향상에 상당한 기여를 할 수 있는가?
• RQ2 에피소딕 메모리 메커니즘이 이전 이미지들로부터 대표적인 특징를 저장하고 검색하여 현재 예측을 향상시키는 데 얼마나 효과적인가?
• RQ3 이중 주의 모듈(이미지 내 및 이미지 간)의 통합이 경계 선명도 향상과 외형 변화에 대한 강건성 향상에 기여하는가?
• RQ4 기존 최신 기술 수준의 폴립 분할 모델들과 비교했을 때, 제안된 방법은 정확도와 추론 속도 측면에서 어떤가?
• RQ5 이 방법은 다양한 화질과 폴립 특성을 지닌 다양한 데이터셋에 대해 얼마나 일반화 가능한가?

주요 결과

• DCRNet는 EndoScene에서 85.41%의 Dice 점수, PICCOLO에서 85.12%의 점수를 기록하여, 비교된 모든 최신 기술 수준의 방법보다 모든 지표에서 뛰어난 성능을 보였다.
• 대규모 PICCOLO 데이터셋에서 DCRNet는 오직 28.7MB의 모델 크기로 53 FPS의 추론 속도를 달성하여, 속도와 파rameter 효율성 측면에서 다른 모델들보다 뚜렷한 우수성을 보였다.
• 제거 실험 결과, ICR, ECR, ROM 각 구성 요소가 점진적으로 성능 향상에 기여하며, PICCOLO에서 기본 모델 대비 전체 모델이 Dice 점수를 2.31% 향상시켰다.
• ECR 및 ROM 모듈은 EndoScene보다 PICCOLO에서 더 두드러진 향상을 보였으며, 이는 이미지 간 맥락 모델링이 복잡하고 다양한 임상 환경에서 특히 유익함을 시사한다.
• PICCOLO에서 경계 F-측정값은 85.13을 기록하여 기존 접근 방식에 비해 뛰어난 윤곽 정확도를 입증했다.
• 모델은 모든 방법 중에서 가장 높은 Sα 점수를 기록하여, 예측값과 진짜값 간의 강력한 전반적 구조 유사성을 보였다.