[논문 리뷰] A multi-centre polyp detection and segmentation dataset for generalisability assessment

Sharib Ali, Debesh Jha외 13명|arXiv (Cornell University)|2021. 06. 08.

Radiomics and Machine Learning in Medical Imaging인용 수 4

한 줄 요약

이 논문은 300명 이상의 환자에서 총 3,762개의 희생체 분할 마스크를 포함한 대규모 다기관 대肠내시경 데이터셋인 PolypGen을 소개한다. 단일 프레임 및 영상 시퀀스를 포함하며, 다양한 임상 환경에서의 희생체 검출 및 분할 모델의 엄격한 평가를 가능하게 한다. 잔차 연결과 아트로우스페이셜 피라미드 풀링을 갖춘 ResNet 아키텍처가 다양한 임상 환경에서 일반화 능력을 향상시키며, ResNetUNet는 실시간 추론(87 FPS)과 뛰어난 경계 정확도(MASD: 27.10, 시퀀스 기준)를 달성한다.

ABSTRACT

Polyps in the colon are widely known cancer precursors identified by colonoscopy. Whilst most polyps are benign, the polyp's number, size and surface structure are linked to the risk of colon cancer. Several methods have been developed to automate polyp detection and segmentation. However, the main issue is that they are not tested rigorously on a large multicentre purpose-built dataset, one reason being the lack of a comprehensive public dataset. As a result, the developed methods may not generalise to different population datasets. To this extent, we have curated a dataset from six unique centres incorporating more than 300 patients. The dataset includes both single frame and sequence data with 3762 annotated polyp labels with precise delineation of polyp boundaries verified by six senior gastroenterologists. To our knowledge, this is the most comprehensive detection and pixel-level segmentation dataset (referred to as extit{PolypGen}) curated by a team of computational scientists and expert gastroenterologists. The paper provides insight into data construction and annotation strategies, quality assurance, and technical validation. Our dataset can be downloaded from \url{ https://doi.org/10.7303/syn26376615}.

연구 동기 및 목표

• 대장내시경에서 희생체 검출 및 분할을 위한 종합적이고 다기관 데이터셋의 부족을 해결하기 위해.
• 전문가가 검증한 분할 마스크를 포함한 대규모 다기관 데이터셋을 제공함으로써 다양한 임상 인구 및 영상 조건에서 모델의 일반화 능력을 향상시키기 위해.
• 단일 프레임 및 순차적 대장내시경 데이터에 대한 딥러닝 모델의 벤치마킹을 가능하게 하여 시간적 모델링 및 도메인 이동에 대한 저항성 평가를 지원하기 위해.
• 센터별 데이터 분할을 제공함으로써 연합 학습 및 전이 학습 기법의 개발과 평가를 지원하기 위해.
• AI 시스템의 훈련 및 검증을 위한 표준화되고 고품질의 데이터셋을 제공함으로써 희생체 평가의 관찰자 간 변동성을 줄이기 위해.

제안 방법

• 6개의 별도 의료 기관에서 확보한 대장내시경 데이터로, 단일 프레임 이미지와 내 endoscopic 영상 시퀀스를 포함한다.
• 6명의 고위급 위장내과 전문의의 공동 평가를 통해 정밀한 픽셀 수준의 희생체 분할 마스크 총 3,762개를 생성하였다.
• 품질 보증, 데이터 균형 조절, 전문가 검토를 포함한 다단계 데이터 정제 프로세스를 구현하여 분할 마스크의 신뢰도를 확보하였다.
• 센터 기반 평가를 위한 구조화된 데이터 분할을 제공하여, 다양한 임상 기관 간의 모델 일반화 능력 평가를 가능하게 하였다.
• DSC, NSD, MASD, HD 등의 지표를 포함한 분할 성능 평가를 위한 벤치마킹 코드 및 평가 도구를 개발하였다.
• ResNetUNet, DeepLabV3+ 등의 최신 딥러닝 아키텍처를 활용하여 데이터셋에서의 기술적 검증 및 성능 기준 설정을 수행하였다.

실험 결과

연구 질문

• RQ1 실제 영상 변동성이 존재하는 다양한 다기관 데이터셋에서 기존의 딥러닝 모델들이 희생체 분할 성능을 얼마나 잘 보여주는가?
• RQ2 학습 중에 만난 적이 없는 기관의 데이터에서 평가했을 때 모델 성능이 얼마나 떨어지는가? 그리고 이를 어떻게 완화할 수 있는가?
• RQ3 잔차 연결, 아트로우스페이셜 피라미드 풀링 등의 네트워크 아키텍처 및 구성 요소 중 어떤 것이 다양한 임상 환경에서의 일반화 능력을 가장 잘 향상시키는가?
• RQ4 작은 및 중간 크기의 희생체에 대해 경계 기반 지표(MASD)가 DSC와 같은 기존 지표보다 어떻게 다를 수 있는가?
• RQ5 제안된 데이터셋은 대장내시경 AI 시스템의 연합 학습 및 전이 학습 전략 개발 및 평가를 지원할 수 있는가?

주요 결과

• ResNet34 백본을 갖춘 ResNetUNet는 높은 분할 정확도를 유지하면서도 실시간 추론(87 FPS)을 달성했으며, DSC는 ResNet50 기반의 DeepLabV3+와 유사한 성능을 보였다.
• MASD 지표는 ResNetUNet가 작은 및 중간 크기의 희생체에서 경계 정확도에서 DeepLabV3+를 능가함을 드러내었으며, 각각 단일 프레임 기준 35.83, 시퀀스 기준 27.10의 점수를 기록한 반면, DeepLabV3+는 각각 41.04 및 28.19를 기록하였다.
• 기본 아키텍처인 Vanilla UNet, PSPNet, FCN8은 희생체 크기 변화 및 영상 대비 변화를 처리하는 데 한계를 보이며 열등한 성능을 보였다.
• 다양한 기관의 데이터를 통합해 학습한 모델은 높은 위양성률을 보였고, 기관별 검증 분할을 통해 성능의 상당한 변동성이 드러나, 도메인 인식 평가의 중요성을 강조하였다.
• 최고 성능을 보인 모델들은 고대비 또는 명확한 점막 부풀림이 있는 희생체를 잘 감지했지만, 평평하거나 경계가 흐린 병변은 실패하였다.
• 다양한 조명, 시점 각도, 희생체 형태를 포함한 데이터셋의 다양한 분포는 현재 모델의 한계를 드러내었으며, 특히 100×100 픽셀 이하의 작은 희생체에 대해 두드러진 문제를 노출시켰다.