[논문 리뷰] PolypGen: A multi-center polyp detection and segmentation dataset for generalisability assessment.

Sharib Ali, Debesh Jha외 12명|arXiv (Cornell University)|2021. 06. 08.

Colorectal Cancer Screening and Detection참고 문헌 32인용 수 9

한 줄 요약

PolypGen은 300명 이상의 환자에서 3,446개의 정확하게 표시된 폴립 인스턴스를 포함한 대규모 다중 기관 데이터셋으로, 폴립 검출 및 분할 모델의 일반화 능력을 철저히 평가하기 위해 제작되었다. 다섯 개의 기관에서 수집한 다양한 내 endoscopic 데이터와 여섯 명의 고위 위장내시경 전문의의 검증을 통해 신뢰도가 높으며, Endocv2021 챌린지의 일환으로 개발되었다.

ABSTRACT

Polyps in the colon are widely known as cancer precursors identified by colonoscopy either related to diagnostic work-up for symptoms, colorectal cancer screening or systematic surveillance of certain diseases. Whilst most polyps are benign, the number, size and the surface structure of the polyp are tightly linked to the risk of colon cancer. There exists a high missed detection rate and incomplete removal of colon polyps due to the variable nature, difficulties to delineate the abnormality, high recurrence rates and the anatomical topography of the colon. In the past, several methods have been built to automate polyp detection and segmentation. However, the key issue of most methods is that they have not been tested rigorously on a large multi-center purpose-built dataset. Thus, these methods may not generalise to different population datasets as they overfit to a specific population and endoscopic surveillance. To this extent, we have curated a dataset from 6 different centers incorporating more than 300 patients. The dataset includes both single frame and sequence data with 3446 annotated polyp labels with precise delineation of polyp boundaries verified by six senior gastroenterologists. To our knowledge, this is the most comprehensive detection and pixel-level segmentation dataset curated by a team of computational scientists and expert gastroenterologists. This dataset has been originated as the part of the Endocv2021 challenge aimed at addressing generalisability in polyp detection and segmentation. In this paper, we provide comprehensive insight into data construction and annotation strategies, annotation quality assurance and technical validation for our extended EndoCV2021 dataset which we refer to as PolypGen.

연구 동기 및 목표

• 폴립 검출 및 분할 모델의 일반화 능력을 평가하기 위한 대규모 다기관 데이터셋의 부족을 보완하기 위해.
• 단일 기관 또는 단일 인구 집단 데이터에 대한 과적합을 줄이기 위해 표준화된 표시를 가진 다양한 다기관 데이터셋을 구축하기 위해.
• 단일 프레임 및 시퀀스 데이터를 포함시켜 실제 임상 환경에서의 딥 러닝 모델의 강력한 벤치마킹을 지원하기 위해.
• 여섯 명의 전문 위장내시경 전문의의 공동 표시를 통해 높은 표시 품질을 확보하기 위해.
• 미래의 대장내시경 영상 분석 연구를 위한 기반을 마련하기 위해 포괄적이고 검증된 데이터셋을 제공함으로써 일반화 능력 평가에 기여하기 위해.

제안 방법

• 다양한 환자 인구 통계, 내시경 기구 종류, 영상 프로토콜을 포함하기 위해 여섯 개의 별도 의료 기관에서 수집한 내시경 영상 및 영상 시퀀스를 정제하였다.
• 여섯 명의 고위 위장내시경 전문의가 정밀한 픽셀 수준의 분할 마스크로 3,446개의 폴립 인스턴스를 표시하여 높은 품질의 기준값을 확보하였다.
• 폴립 경계의 정의에 있어 관찰자 간 변동성을 줄이고 신뢰성을 향상시키기 위해 다중 독자 공동 표시 전략을 구현하였다.
• 분류 및 시간적 모델링 작업을 지원하기 위해 단일 프레임 및 영상 시퀀스 서브셋으로 데이터셋을 구성하였다.
• 공간 일관성, 표시 완전성, 이질치 탐지 등을 포함한 기술적 점검을 통해 데이터 품질을 검증하였다.
• PolypGen을 Endocv2021 챌린지의 연장선으로 공개하여 폴립 검출 및 분할 모델의 공동 평가 및 벤치마킹을 촉진하기 위해 제작하였다.

실험 결과

연구 질문

• RQ1 단일 기관 벤치마크와 비교할 때 다기관 데이터셋에서 모델 성능이 얼마나 떨어지는가?
• RQ2 여러 기관에서 수집한 다양한 내시경 데이터의 포함 여부가 폴립 검출 및 분할 모델의 일반화 능력에 어떤 영향을 미치는가?
• RQ3 전문가의 공동 표시가 임상 영상에서 폴립 분할의 신뢰성과 재현 가능성에 어떤 영향을 미치는가?
• RQ4 PolypGen과 같은 다기관 데이터셋이 다양한 인구 집단과 영상 조건에서 모델의 일반화 능력을 평가하는 데 있어 견고한 벤치마크로 기능할 수 있는가?
• RQ5 PolypGen의 해부학적 위치, 폴립 형태, 영상 품질의 다양성이 모델의 강건성에 어떤 영향을 미치는가?

주요 결과

• PolypGen은 픽셀 수준의 분할 마스크를 가진 3,446개의 폴립 인스턴스를 포함하여, 현재까지 폴립 검출 및 분할에 가장 포괄적인 데이터셋이다.
• 여섯 개의 의료 기관에서 수집되어 환자 인구 집단, 내시경 장비, 영상 프로토콜의 다양성을 보장하여 일반화 능력 테스트에 기여한다.
• 모든 표시는 여섯 명의 고위 위장내시경 전문의에 의해 검증되어 높은 평가자 간 신뢰도와 임상적 관련성을 확보하였다.
• 단일 프레임 및 영상 시퀀스 데이터의 포함으로 다양한 시간적 및 공간적 맥락에서 모델 평가가 가능하다.
• PolypGen은 Endocv2021 챌린지의 일환으로 개발되어 다양한 임상 환경에서의 모델 성능 평가를 위한 표준화된 벤치마크를 설정하였다.
• PolypGen은 단일 기관 또는 단일 인구 집단의 성능을 넘어서 모델의 일반화 능력을 철저히 평가할 수 있도록 향후 연구의 기반을 제공한다.