[논문 리뷰] Detecting, Localising and Classifying Polyps from Colonoscopy Videos using Deep Learning

Yu Tian, Leonardo Zorrón Cheng Tao Pu외 7명|arXiv (Cornell University)|2021. 01. 09.

Colorectal Cancer Screening and Detection참고 문헌 58인용 수 11

한 줄 요약

이 논문은 희소 샘플 이상 탐지 기반으로, 렌즈 흐림, 변비, 물 분사 등과 같은 간섭 물체를 거부하면서도, 복강경 검사 영상에서 폴립이 포함된 프레임을 탐지하고, 위치를 특정하며, 분류하는 딥러닝 시스템을 제시한다. 이 방법은 예측 불확실성 추정과 신뢰도 校정을 통해 정확도와 임상적 해석 가능성 향상으로 최신 기술 수준의 성능을 달성하며, 특히 낮은 신뢰도 예측을 거부함으로써 성능이 향상된다.

ABSTRACT

In this paper, we propose and analyse a system that can automatically detect, localise and classify polyps from colonoscopy videos. The detection of frames with polyps is formulated as a few-shot anomaly classification problem, where the training set is highly imbalanced with the large majority of frames consisting of normal images and a small minority comprising frames with polyps. Colonoscopy videos may contain blurry images and frames displaying feces and water jet sprays to clean the colon -- such frames can mistakenly be detected as anomalies, so we have implemented a classifier to reject these two types of frames before polyp detection takes place. Next, given a frame containing a polyp, our method localises (with a bounding box around the polyp) and classifies it into five different classes. Furthermore, we study a method to improve the reliability and interpretability of the classification result using uncertainty estimation and classification calibration. Classification uncertainty and calibration not only help improve classification accuracy by rejecting low-confidence and high-uncertain results, but can be used by doctors to decide how to decide on the classification of a polyp. All the proposed detection, localisation and classification methods are tested using large data sets and compared with relevant baseline approaches.

연구 동기 및 목표

• 조직학적 병리 검사 후행이 아닌, 수술 중 정확한 폴립 분류를 가능하게 하여 조기 대장암 진단을 지원하는 자동화된 시스템을 개발하기 위해.
• 정상 프레임 수가 폴립 포함 프레임 수에 비해 극도로 많은 불균형 데이터셋 문제를 해결하기 위해.
• 폴립 분류 파이프라인에 분류 불확실성과 신뢰도 校정을 통합하여 신뢰성과 해석 가능성을 향상시키기 위해.
• 폴립이 아닌 프레임에서 발생하는 가짜 경고(예: 렌즈 흐림, 변비, 물 분사)를 폴립 탐지 이전에 효과적으로 거부하기 위해.
• 수술 중 정확한 폴립 분류를 통해 수술 후 병리 검사 의존도를 감소시키기 위해.

제안 방법

• 정상 이미지와 그 임베딩 간 상호정보량을 최대화하도록 훈련된 희소 샘플 이상 탐지 프레임워크(FSAD-Net)를 사용하여 폴립 포함 프레임을 탐지한다.
• 외곽치에 강건한 분류기를 적용하여 폴립 탐지 이전에 렌즈 흐림, 변비, 물 분사 등이 포함된 프레임을 거부한다.
• 최신 객체 탐지 아키텍처를 사용하여 단일 스테이지 딥러닝 모델이 동시에 폴립의 위치(바운딩 박스)와 다섯 가지 클래스로의 분류를 수행한다.
• 베이지안 및 校정된 분류 헤드를 사용하여 예측 불확실성을 추정하고, 校정을 향상시켜 잘못된 校정 오차를 줄인다.
• 낮은 신뢰도 및 높은 불확실성 예측을 거부하는 전략을 적용하여 평균 정밀도와 정확도를 향상시킨다.
• 대규모 오스트레일리아 및 일본 복강경 영상 데이터셋을 대상으로 5겹 교차검증을 수행하였으며, 철저한 추론 및 기준 모델과의 비교를 실시하였다.

실험 결과

연구 질문

• RQ1 극도로 불균형한 클래스 분포에도 불구하고, 희소 샘플 이상 탐지 기법이 복강경 영상에서 폴립 포함 프레임을 효과적으로 식별할 수 있는가?
• RQ2 변비, 물 분사, 렌즈 흐림 등 폴립이 아닌 간섭 물체를 효과적으로 거부함으로써 탐지 신뢰도를 향상시킬 수 있는가?
• RQ3 불확실성 추정과 신뢰도 校정이 폴립 분류의 정확도와 해석 가능성에 어느 정도 기여하는가?
• RQ4 수동으로 탐지된 폴립을 기반으로 하는 방법과 비교할 때, 단일 스테이지 위치 특정 및 분류 모델의 성능은 어떠한가?
• RQ5 불확실성과 校정을 통합함으로써 校정 오차를 감소시키고 임상 현장 적용에 대한 강건성을 향상시킬 수 있는가?

주요 결과

• FSAD-Net은 기존의 불균형 학습 및 이상 탐지 방법보다 복강경 영상에서 최신 기술 수준의 희소 샘플 이상 탐지 성능을 달성하였다.
• 불확실성 추정과 신뢰도 校정을 통합함으로써 기대 校정 오차(ECE)와 평균 校정 오차(MCE)가 감소하였으며, 특히 비베이지안 모델에서 두드러진 효과를 보였다.
• 가장 낮은 신뢰도 및 높은 불확실성 예측의 30%를 거부함으로써 분류 정확도가 최대 49% 향상되었고, 평균 정밀도(AP)는 최대 48% 향상되었다.
• 단일 스테이지 위치 특정 및 분류 모델은 높은 성능을 달성하였으며, 수동으로 탐지된 폴립을 사용한 방법과 비교해 소규모 정확도 격차(위치 오류로 인한 것)를 보였다.
• 탐지 및 위치 특정에 대해 이미지당 평균 0.1초 미만의 추론 시간을 기록하였지만, 신뢰도 校정은 상당한 지연(이미지당 2.17초)을 유발하여 최적화가 필요함을 시사하였다.
• 본 방법은 영역 간 일반화 능력이 상당히 높은 편이지만, 향후 도메인 적응 및 일반화 기법을 활용한 제로샷 일반화 능력 향상에 대한 연구가 필요하다.