[논문 리뷰] Endoscopy artifact detection (EAD 2019) challenge dataset

Sharib Ali, Felix Zhou외 10명|arXiv (Cornell University)|2019. 05. 08.

Colorectal Cancer Screening and Detection참고 문헌 1인용 수 45

한 줄 요약

이 논문은 다중 클래스 엔도스코피 아티팩트 탐지와 의미 론 분할을 위한 EAD 2019 챌린지 데이터셋을 제시하며, 데이터셋, 주석 프로토콜, 평가 기준을 상세히 다뤄 견고한 아티팩트 위치추정과 일반화를 촉진한다.

ABSTRACT

Endoscopic artifacts are a core challenge in facilitating the diagnosis and treatment of diseases in hollow organs. Precise detection of specific artifacts like pixel saturations, motion blur, specular reflections, bubbles and debris is essential for high-quality frame restoration and is crucial for realizing reliable computer-assisted tools for improved patient care. At present most videos in endoscopy are currently not analyzed due to the abundant presence of multi-class artifacts in video frames. Through the endoscopic artifact detection (EAD 2019) challenge, we address this key bottleneck problem by solving the accurate identification and localization of endoscopic frame artifacts to enable further key quantitative analysis of unusable video frames such as mosaicking and 3D reconstruction which is crucial for delivering improved patient care. This paper summarizes the challenge tasks and describes the dataset and evaluation criteria established in the EAD 2019 challenge.

연구 동기 및 목표

• 다중 클래스 엔도스코프 프레임의 아티팩트 정확한 탐지 및 위치화로 프레임 복원 및 정량적 영상 분석을 가능하게 한다.
• 아티팩트 탐지 및 분할을 위한 여러 기관, 모달리티, 인구를 포괄하는 크고 다양한 데이터셋을 제공한다.
• 교차 데이터셋 일반화 촉진 및 주석 편향을 줄이기 위한 주석 프로토콜과 평가 지표를 확립한다.

제안 방법

• 4개국의 6개 기관에서 다기관 대규모 데이터셋을 구성하고 여러 엔도스코피 모달리티를 포함한다.
• 경계 상자 탐지를 위한 7개 아티팩트 클래스와 의미 분할을 위한 5 클래스를 전문가 검증 ground truth로 정의한다.
• 다중 클래스 및 중첩된 아티팩트를 다루기 위해 특정 주석 규칙으로 주석된 경계 상자와 분할 마스크를 사용한다.
• 탐지에 대해 IoU와 mAP를 포함한 평가 지표를 적용하고, 분할에 대해 Dice/IoU/F2를 사용하며 최종 점수는 mAP와 IoU를 가중 합산한 점수로 산정한다.
• 일반화 태스크를 여섯 번째 기관을 사용해 훈련/테스트 간의 mAP 비교로 교차 데이터셋 강건성을 평가한다.

실험 결과

연구 질문

• RQ1 아티팩트가 있는 엔도스코프 프레임에서 스펙큘러리, 기포, 색채 포화, 모션 블러 등의 다중 클래스 아티팩트 탐지와 분할을 정확하게 수행할 수 있는가?
• RQ2 대규모 다기관 데이터셋이 센터 및 모달리티 간의 아티팩트 탐지 방법의 일반화를 향상시키는가?
• RQ3 엔도스코피 아티팩트의 로컬라이제이션 정확도와 클래스별 탐지 성능의 균형을 잘 맞추는 평가 프레임워크는 무엇인가?

주요 결과

• 데이터셋은 탐지를 위한 7개 아티팩트 클래스에 대해 2147개의 주석 프레임과 5개 클래스에 대해 475개의 프레임, 온라인 테스트 평가를 위한 122개의 프레임을 수집한다.
• 챌린지는 최종 탐지 점수를 score_d = 0.6 × mAP_d + 0.4 × IoU_d로 정의하고 일치 임계값을 IoU ≥ 0.25로 사용한다.
• 분할의 경우 DSC(Dice), IoU, F2-오류를 결합하여 최종 점수 score_s = 0.75 × [0.5 × (DSC + IoU)] + 0.25 × F2 − error로 합산한다.
• 일반화 성능은 여섯 번째 기관에서 평가되며 dev_g = mAP_d − mAP_g로 순위를 매겨 작을수록 좋고 mAP_g가 높을수록 좋다.
• 참조 주석은 7개의 탐지 클래스와 5개의 분할 클래스로 구성되며 임상의 검증 및 상-주석자 간 변동성을 관리하는 규칙이 포함된다.