[논문 리뷰] Assessing generalisability of deep learning-based polyp detection and segmentation methods through a computer vision challenge

Sharib Ali, Noha Ghatwary외 30명|arXiv (Cornell University)|2022. 02. 24.

Colorectal Cancer Screening and DetectionMedicine인용 수 19

한 줄 요약

이 연구는 EndoCV 2021 챌린지를 통해 다중센터, 다중 모odal리티 대肠내시경 데이터셋을 사용하여 딥 러닝 기반 폴립 탐지 및 분할 모델의 일반화 능력을 평가한다. 최고 성능을 낸 팀들은 다양한 검증 세트에서 80% 이상의 Dice 스코어를 기록했지만, 결과는 예측할 수 없는 센터와 영상 조건에서의 강건성에 있어 심각한 한계를 드러내며 임상용 AI 시스템에서의 개선된 일반화 능력이 급한 필요성을 강조한다.

ABSTRACT

Polyps are well-known cancer precursors identified by colonoscopy. However, variability in their size, location, and surface largely affect identification, localisation, and characterisation. Moreover, colonoscopic surveillance and removal of polyps (referred to as polypectomy ) are highly operator-dependent procedures. There exist a high missed detection rate and incomplete removal of colonic polyps due to their variable nature, the difficulties to delineate the abnormality, the high recurrence rates, and the anatomical topography of the colon. There have been several developments in realising automated methods for both detection and segmentation of these polyps using machine learning. However, the major drawback in most of these methods is their ability to generalise to out-of-sample unseen datasets that come from different centres, modalities and acquisition systems. To test this hypothesis rigorously we curated a multi-centre and multi-population dataset acquired from multiple colonoscopy systems and challenged teams comprising machine learning experts to develop robust automated detection and segmentation methods as part of our crowd-sourcing Endoscopic computer vision challenge (EndoCV) 2021. In this paper, we analyse the detection results of the four top (among seven) teams and the segmentation results of the five top teams (among 16). Our analyses demonstrate that the top-ranking teams concentrated on accuracy (i.e., accuracy > 80% on overall Dice score on different validation sets) over real-time performance required for clinical applicability. We further dissect the methods and provide an experiment-based hypothesis that reveals the need for improved generalisability to tackle diversity present in multi-centre datasets.

연구 동기 및 목표

• 다양한 임상 환경에서 폴립 탐지 및 분할에 대한 딥 러닝 모델의 일반화 성능을 철저히 평가하기 위해.
• 다른 내 endoscopy 센터, 장비, 영상 모달리티에서의 분포 외 데이터에 적용되었을 때 최첨단 모델의 한계를 규명하기 위해.
• 검증 세트에서의 높은 정확도가 예측할 수 없는 실세계 임상 데이터에서의 신뢰할 수 있는 성능으로 이어지는지 평가하기 위해.
• 임상 내 endoscopy AI 응용 분야에서 모델의 강건성 향상을 위한 실질적인 통찰을 제공하기 위해.
• 대규모 다기관 컴퓨터 비전 챌린지에서의 최고 성능 모델을 기준으로 평가하고 분석하기 위해.

제안 방법

• 6개의 다른 내 endoscopy 센터에서 수집된 3,762개의 레이블이 부여된 프레임을 포함하는 다중센터, 다중 인구군 대장내시경 데이터셋을 정제하였다. WLE 및 NBI 모달리티를 포함한다.
• 글로벌 기계 학습 팀으로부터 폴립 탐지 및 분할 모델 개발을 위해 EndoCV 2021 챌린지를 조직하였다.
• 다양한 임상 조건을 반영하는 네 가지 별도의 테스트 세트(NBI-single, WLE-single, seen sequence, unseen sequence 데이터)에서 모델을 평가하였다.
• 정량적 평가를 위해 표준 지표인 Dice 스코어(DSC), 재현율 계수(JC), F2-스코어, PPV, 재현율, 정확도(ACC), Hausdorff 거리(H d)를 사용하였다.
• 검증 세트 전반에서의 성능 기반으로 탐지 분야 상위 4개 팀, 분할 분야 상위 5개 팀을 선정하였다.
• 정밀도 분석 및 방법론적 분석을 수행하여 최고 성능 모델의 설계 패턴과 일반화 실패 원인을 규명하였다.

실험 결과

연구 질문

• RQ1 최첨단 딥 러닝 모델이 다양한 내 endoscopy 센터와 영상 모달리티 간에서 폴립 탐지 및 분할에 대해 얼마나 잘 일반화되는가?
• RQ2 분포 내 검증 세트에서의 높은 성능이 분포 외 실세계 테스트 데이터에서의 성공을 얼마나 잘 예측하는가?
• RQ3 어느 설계나 훈련 선택이 교차 센터 일반화에서 강건성 또는 실패에 가장 큰 영향을 미치는가?
• RQ4 최고 성능 모델에서 일반화 능력을 향상시키는 식별 가능한 설계 패턴이 존재하는가? 그리고 기준 모델 대비 그들의 성능은 어떻게 비교되는가?
• RQ5 새로운 시퀀스 데이터와 다양한 영상 조건에서 테스트되었을 때 현재 모델의 주요 실패 유형은 무엇인가?

주요 결과

• 최고 성능 팀들은 모든 검증 세트에서 80% 이상의 Dice 스코어를 기록하여 분포 내 성능이 뛰어나다는 것을 보여주었다.
• 높은 정확도에도 불구하고, 예측할 수 없는 시퀀스 데이터에서 성능 저하가 심각하게 나타났다 (예: Dice 스코어가 약 0.30–0.40로 하락), 이는 분포 외 일반화 능력이 열 劣하다는 것을 시사한다.
• 최고의 분할 모델은 본래 시퀀스에서 Dice 스코어 0.6744 ± 0.3011을 기록했고, 예측할 수 없는 시퀀스에서는 0.4096 ± 0.3577로 하락하여 강건성에 중대한 감소가 있음을 드러냈다.
• 팀들은 추론 속도보다 정확도를 우선시하여, 실시간 성능을 달성한 모델은 없었으며, 이는 임상 적용 가능성에 제한을 둔다.
• 분 析 결과, 다중 스케일 특징과 어텐션 메커니즘에 의존하는 모델이 더 나은 일반화 능력을 보였지만, 여전히 예측할 수 없는 센터와 모달리티에서 실패했다.
• 본 연구는 현재 딥 러닝 기법에 있어 심각한 격차를 드러내며, 정제된 벤치마크에서의 높은 성능가 실세계 다중센터 임상 적용에서의 신뢰성 보장 간 격차가 크다는 것을 규명한다.