[논문 리뷰] A Comprehensive Study on Colorectal Polyp Segmentation with ResUNet++, Conditional Random Field and Test-Time Augmentation

Debesh Jha, Pia H. Smedsrud외 5명|arXiv (Cornell University)|2021. 07. 26.

Colorectal Cancer Screening and Detection참고 문헌 60인용 수 9

한 줄 요약

이 논문은 조건부 랜덤 필드(CRF)와 테스트 시각 증강(TTA)을 통합하여 결장 폴립 분할을 위한 향상된 ResUNet++ 아키텍처를 제안한다. 이는 특히 소형 및 평판 폴립에서 정확도를 향상시키며, 여섯 개인 공개 데이터셋에서 최신 기술 수준의 성능을 달성한다. 이는 어려운 임상적으로 중요한 폴립 유형에 대한 일반화 능력과 강건성에서 뚜렷한 향상을 보인다.

ABSTRACT

Colonoscopy is considered the gold standard for detection of colorectal cancer and its precursors. Existing examination methods are, however, hampered by high overall miss-rate, and many abnormalities are left undetected. Computer-Aided Diagnosis systems based on advanced machine learning algorithms are touted as a game-changer that can identify regions in the colon overlooked by the physicians during endoscopic examinations, and help detect and characterize lesions. In previous work, we have proposed the ResUNet++ architecture and demonstrated that it produces more efficient results compared with its counterparts U-Net and ResUNet. In this paper, we demonstrate that further improvements to the overall prediction performance of the ResUNet++ architecture can be achieved by using conditional random field and test-time augmentation. We have performed extensive evaluations and validated the improvements using six publicly available datasets: Kvasir-SEG, CVC-ClinicDB, CVC-ColonDB, ETIS-Larib Polyp DB, ASU-Mayo Clinic Colonoscopy Video Database, and CVC-VideoClinicDB. Moreover, we compare our proposed architecture and resulting model with other State-of-the-art methods. To explore the generalization capability of ResUNet++ on different publicly available polyp datasets, so that it could be used in a real-world setting, we performed an extensive cross-dataset evaluation. The experimental results show that applying CRF and TTA improves the performance on various polyp segmentation datasets both on the same dataset and cross-dataset.

연구 동기 및 목표

• 임상 환경에서 결장 폴립 분할을 위한 딥 러닝 모델의 강건성과 일반화 능력을 향상시키기.
• 내 endoscopy에서 진단 누락의 주요 원인이 되는 소형, 평판, 지상성 폴립의 높은 빠짐률을 해결하기.
• CRF와 TTA를 후처리 및 추론 시 기법으로 사용할 때 폴립 분할 성능에 미치는 영향을 평가하기.
• 다양한 공개된 폴립 데이터셋을 사용하여 모델의 교차 데이터셋 일반화 능력을 검증하기.
• 실시간 내 endoscopy 보조를 지원할 수 있는 임상적으로 유의미하고 데이터 효율적인 솔루션 제공하기.

제안 방법

• 잔차 블록, 아트로우스페이셜 피라미드 풀링(ASPP), 그리고 주의 메커니즘을 통합한 새로운 인코더-디코더 아키텍처로서 ResUNet++을 제안하여 특징 학습 능력을 향상시킨다.
• 공간 일관성을 강화하고 노이즈를 줄이기 위해 후처리 단계에서 조건부 랜덤 필드(CRF)를 적용하여 분할 마스크를 정밀하게 보정한다.
• 추론 중에 입력 이미지의 여러 증강된 버전에서의 예측을 통합하여 강건성을 향상시키기 위해 테스트 시각 증강(TTA)을 사용한다.
• Kvasir-SEG, CVC-ClinicDB, CVC-ColonDB, ETIS-Larib, ASU-Mayo, CVC-VideoClinicDB의 여섯 개의 공개 데이터셋에서 모델을 훈련하고 평가한다.
• 일반화 능력을 시험하기 위해 광범위한 교차 데이터셋 평가를 수행하며, Kvasir-SEG 및 CVC-ClinicDB에서 훈련하고 다섯 개의 독립된 데이터셋에서 테스트한다.
• 인식이 어려운 폴립을 집중 평가하기 위해 Kvasir-SEG에서 유의미한 196개의 평판 또는 지상성 폴립(10 mm 이하)으로 이루어진 코호트를 정제하여 제안한다.

실험 결과

연구 질문

• RQ1 CRF와 TTA의 통합이 ResUNet++의 결장 폴립 데이터셋에서의 분할 성능을 뚜렷이 향상시킬 수 있는가?
• RQ2 제안된 방법은 다양한 임상 환경에서 수집된 서로 다른 데이터셋 간에 어떻게 일반화되는가?
• RQ3 소형, 평판, 지상성 폴립에서 뛰어난 성능를 보이며, 임상 실무에서 자주 빠지는 것으로 알려진 폴립을 효과적으로 탐지하는가?
• RQ4 CRF와 TTA가 개별적으로나 조합하여 적용했을 때 분할 정확도와 강건성에 미치는 영향은 무엇인가?
• RQ5 모델은 어려운 조건, 저대비 또는 아티팩트가 많은 내 endoscopy 영상에서도 높은 성능를 유지할 수 있는가?

주요 결과

• ResUNet++에 CRF와 TTA를 통합한 조합은 모든 여섯 개의 평가된 데이터셋에서 최신 기술 수준의 성능를 달성하였으며, Dice 스코어와 IoU에서 뚜렷한 향상을 보였다.
• ResUNet++ + TTA 버전은 가장 뛰어난 교차 데이터셋 일반화 능력을 보였으며, ETIS-Larib 및 CVC-VideoClinicDB와 같은 새로운 데이터셋에서 다른 구성보다 뛰어난 성능를 보였다.
• 기존 임상 실무에서 자주 빠지는 것으로 알려진 평판 및 소형 폴립(≤10 mm)의 탐지 능력이 뛰어나며, 196개의 어려운 케이스로 구성된 코호트에서 재현율과 F1 스코어에서 뚜렷한 향상을 보였다.
• TTA는 모든 데이터셋에서 일관된 성능 향상을 제공하여 추론 중 분포 이탈을 다루는 데 효과적이라는 것을 시사했다.
• CRF는 경계 정밀도를 향상시키고 노이즈가 많은 예측을 줄였으며, 불규칙하거나 흐린 경계를 가진 폴립에 특히 유용했다.
• 교차 데이터셋 평가 결과, Kvasir-SEG 또는 CVC-ClinicDB에서 훈련한 모델이 다른 데이터셋으로도 잘 일반화됨을 확인하여 강건성과 임상 잠재력이 높다는 것을 입증했다.