[논문 리뷰] Endoscopy Disease Detection and Segmentation (EDD2020)

Sharib Ali, Barbara Braden외 8명|arXiv (Cornell University)|2020. 01. 15.

Gastrointestinal Bleeding Diagnosis and Treatment참고 문헌 3인용 수 15

한 줄 요약

이 논문은 병변 탐지 및 분할을 위한 386개의 정규화된 위내 endoscopy 영상으로 구성된 다중 센터, 다중 기관, 다중 모odal리티 데이터셋인 EDD2020 챌린지를 소개한다. mAP, IoU, F1-score 지표를 사용하여 바운딩 박스 위치 지정, 픽셀 수준의 분할, 그리고 샘플 외 일반화 능력에 대해 딥 러닝 모델을 평가하였으며, 최상위 앙상블 모델은 클래스 불균형과 도전적인 케이스에도 불구하고 평균 mAP 45%를 기록하였다.

ABSTRACT

Endoscopy is a widely used clinical procedure for the early detection of cancers in hollow-organs such as oesophagus, stomach, and colon. Computer-assisted methods for accurate and temporally consistent localisation and segmentation of diseased region-of-interests enable precise quantification and mapping of lesions from clinical endoscopy videos which is critical for monitoring and surgical planning. Innovations have the potential to improve current medical practices and refine healthcare systems worldwide. However, well-annotated, representative publically-available datasets for disease detection for assessing reproducibility and facilitating standardised comparison of methods is still lacking. Many methods to detect diseased regions in endoscopy have been proposed however these have primarily focussed on the task of polyp detection in the gastrointestinal tract with demonstration on datasets acquired from at most a few data centres and single modality imaging, most commonly white light. Here, we present our multi-class disease detection and segmentation challenge in clinical endoscopy. With this sub-challenge we aim to establish a comprehensive dataset to benchmark algorithms for disease detection.

연구 동기 및 목표

• 내시경 병변 탐지 및 분할을 위한 종합적이고 공개 가능한 다중 센터 데이터셋의 부족을 보완하기 위해.
• 다양한 기관과 영상 모달리티를 통해 실제 임상 데이터에서 딥 러닝 모델을 평가하기 위한 벤치마크를 설정하기 위해.
• 내시경에서의 강건하고 일반화 가능한, 임상적으로 적용 가능한 컴퓨터 지원 진단 시스템에 대한 연구를 촉진하기 위해.
• 표준화된 지표를 사용하여 탐지, 분할, 샘플 외 일반화 능력에 대한 모델 성능을 평가하기 위해.
• 커뮤니티 기반 챌린지 프레임워크를 통해 재현 가능하고 비교 가능한 알고리즘 평가 및 연구를 촉진하기 위해.

제안 방법

• 데이터셋은 네 개의 국제 센터에서 확보한 386개의 내시경 영상로 구성되며, 대장,食도, 위를 포함하고, NDBE, 의심 병변, 고등도 이상세포증, 암, 폴립의 다섯 가지 병변 유형을 포함한다.
• annotation은 임상 전문가와 박사후 연구원이 VIA 도구를 사용하여 수행되었으며, 바운딩 박스는 PASCAL VOC 형식으로, 분할 마스크는 5채널 TIFF 이미지로 제공되었다.
• 평가에는 세 가지 작업이 포함된다: 탐지(바운딩 박스 위치 지정), 의미적 분할(픽셀 수준의 레이블링), 샘플 외 탐지(학습 및 검증에 포함되지 않은 기관에 대한 일반화 능력 테스트).
• 성능 평가는 탐지에 대해 mAPd(0.25–0.75의 IoU 임계치 범위에서 0.05 간격으로 평균 평균 정밀도)와 IoU를, 분할에 대해 F1, F2, 정밀도 및 재현율을 사용한다.
• 참가자 순위는 가중 점수(0.6×mAPd + 0.4×IoUd)로 산정되며, 동점인 경우 표준편차를 사용하여 순위를 결정한다.
• 샘플 외 일반화 능력은 편차 점수 |mAPd − mAPg|로 평가되며, 낮을수록 더 높은 강건성(robustness)을 의미한다.

실험 결과

연구 질문

• RQ1 다양한 기관과 영상 모달리티에서 다수의 위장병변을 탐지하고 국소화하는 데 있어 딥 러닝 모델의 성능은 어떠한가?
• RQ2 학습 또는 검증에 포함되지 않은 기관 및 데이터 분포에 대해 모델의 일반화 능력은 어느 정도까지 가능할까?
• RQ3 mAP 및 IoU 지표는 내시경 영상 분석에서 임상적 관련성과 어떻게 상관관계가 있는가?
• RQ4 적은 수의 암 환자 사례 등 클래스 불균형이 모델 성능과 일반화 능력에 어떤 영향을 미치는가?
• RQ5 앙상블 방법은 어려운, 모호하거나 겹치는 병변을 다룰 때 탐지 및 분할 성능을 향상시킬 수 있는가?

주요 결과

• 전체 테스트 데이터셋에 대한 평균 mAP는 35%였으며, 주로 암 환자 수가 부족하고 폴립이 바륨병변 조직과 겹치는 복잡한 케이스 때문이었다.
• 기본 알고리즘은 8개의 테스트 이미지 셋에서 58.52%의 mAP를 기록했으며, mAP25와 mAP50 모두 62.5%로, 대표적인 케이스에서 강력한 국소화 능력을 보였다.
• 세 개의 모델을 조합한 앙상블은 평균 mAP를 45% 이상으로 향상시켜, 모호하거나 희귀한 케이스를 다룰 때 모델 조합의 이점이 있음을 입증하였다.
• 알고리즘 1은 암을 탐지하지 못했고, 작은 바륨병변 영역을 폴립으로 잘못 분류하여 미세 병변 인식의 과제를 드러냈다.
• 최고 성능을 낸 모델들은 낮은 편차 점수(devg → 0)를 기록하여, 훈련 데이터와는 별개의 데이터에 대해 일관된 mAP 성능을 보이며 뛰어난 샘플 외 일반화 능력을 확보하였다.
• 이 챌린지는 작은 데이터셋에서의 높은 mAP가 전체 데이터셋에서의 뛰어난 성능을 보장하지는 않음을 드러내었으며, 강건성과 일반화 능력의 중요성을 강조하였다.