[논문 리뷰] Understanding the effects of artifacts on automated polyp detection and incorporating that knowledge via learning without forgetting

Maxime Kayser, Roger D. Soberanis-Mukul외 4명|arXiv (Cornell University)|2020. 02. 07.

Colorectal Cancer Screening and Detection인용 수 9

한 줄 요약

이 논문은 바이러스, 반사, 흐림 등 6종류의 내 endoscopic 유사체가 딥 러닝 기반 폴립 검출에 미치는 영향을 조사하며, 일부 유사체는 검출 성능을 떨어뜨리지만, 반사와 같은 일부는 검출 성능을 향상시킬 수 있음을 발견한다. 저자들은 학습 중 기억을 잃지 않는(LwF) 다중 과제 학습 프레임워크를 제안하여 폴립과 유사체를 동시에 검출함으로써 유사체로 인한 잘못된 경고의 강건성을 향상시켰지만, 전체적인 검출 성능 향상은 여전히 제한적이다.

ABSTRACT

Survival rates for colorectal cancer are higher when polyps are detected at an early stage and can be removed before they develop into malignant tumors. Automated polyp detection, which is dominated by deep learning based methods, seeks to improve early detection of polyps. However, current efforts rely heavily on the size and quality of the training datasets. The quality of these datasets often suffers from various image artifacts that affect the visibility and hence, the detection rate. In this work, we conducted a systematic analysis to gain a better understanding of how artifacts affect automated polyp detection. We look at how six different artifact classes, and their location in an image, affect the performance of a RetinaNet based polyp detection model. We found that, depending on the artifact class, they can either benefit or harm the polyp detector. For instance, bubbles are often misclassified as polyps, while specular reflections inside of a polyp region can improve detection capabilities. We then investigated different strategies, such as a learning without forgetting framework, to leverage artifact knowledge to improve automated polyp detection. Our results show that such models can mitigate some of the harmful effects of artifacts, but require more work to significantly improve polyp detection capabilities.

연구 동기 및 목표

• 다양한 내 endoscopic 유사체가 자동 폴립 검출 성능에 미치는 영향을 체계적으로 분석하는 것.
• 기포, 반사, 흐림 등의 유사체가 폴립 검출 모델에 미치는 공간적 및 클래스별 영향을 이해하는 것.
• 폴립 검출 모델에 유사체 지식을 통합함으로써 검출의 강건성과 정확도 향상 여부를 탐색하는 것.
• 학습 중 기억을 잃지 않는(LwF) 및 다중 과제 학습(MTL) 전략이 유사체 표현을 통합하면서도 폴립 검출 성능을 떨어뜨리지 않는지 평가하는 것.

제안 방법

• CVC-ClinicDB 데이터셋에 있는 유사체를 사전 학습된 EAD 챌린지 모델을 사용해 6종류의 유사체 클래스에 대한 바운딩 박스 수준의 주석을 생성한다.
• LwF 기반 정규화 손실을 사용해 원래 폴립 검출 과제의 성능을 유지하면서, 폴립과 유사체를 동시에 예측할 수 있는 다중 과제 학습 헤드를 갖춘 RetinaNet 기반 폴립 검출기 모델을 훈련시킨다.
• LwF를 활용한 이중 분류 서브넷을 구현하여, 새로운 유사체 클래스를 학습하면서도 원래 폴립 검출 과제의 정확도를 유지할 수 있도록 한다.
• 훈련 중 폴립과 유사체 간의 극심한 클래스 불균형을 보정하기 위해 클래스 가중치 및 임계값 설정 전략을 적용한다.
• 유사체 및 폴립 검출 출력을 조합하여 검출 신뢰도를 평가하는 불확실성 인식 추론을 적용한다.
• F1 점수, 잘못된 양성/음성 비율, 다양한 임계값과 설정에서의 유사체 오분류 비율을 사용해 모델 성능을 평가한다.

실험 결과

연구 질문

• RQ1 기포, 반사, 흐림 등 다양한 종류의 내 endoscopic 유사체가 딥 러닝 기반 폴립 검출 모델의 성능에 미치는 영향은 무엇인가?
• RQ2 이미지 내 유사체의 공간적 위치가 폴립 검출 성능에 영향을 미치는가? 만약 그렇다면, 그 방식은 어떠한가?
• RQ3 폴립 이외에 유사체도 검출하도록 학습함으로써 폴립 검출 모델의 강건성이 향상될 수 있는가?
• RQ4 학습 중 기억을 잃지 않는(LwF) 프레임워크가 유사체 검출 기능을 통합하면서도 폴립 검출 성능을 유지하는 데 얼마나 기여하는가?
• RQ5 유사체 표현을 통합한 다중 과제 학습은 기포나 흐림과 같은 유사체로 인한 잘못된 양성 반응을 줄일 수 있는가?

주요 결과

• 기포와 흐림 유사체는 잘못된 양성 비율을 크게 증가시키며, 특히 기포가 종종 폴립으로 오분류된다.
• 폴립 영역 내 반사 영역은 검출 성능을 향상시킬 수 있으며, 일부 경우에 유리할 수 있음을 시사한다.
• LwF 기반 다중 과제 모델은 흐림 유사체와 관련된 잘못된 양성 수를 크게 감소시켜, 유사체 식별 능력 향상을 시사한다.
• 4개의 선택된 유사체 클래스를 포함한 MTL 모델은 기준 모델 대비 기포와 반사와 관련된 잘못된 양성 수를 각각 40%와 30% 감소시켰다.
• 유사체 관련 강건성 향상에도 불구하고, 전체 폴립 검출 F1 점수는 유의미하게 향상되지 않았으며, 고유사체 임계값 0.4일 때 최대 0.31에 머물렀다.
• 훈련 데이터에서 유사체 신뢰도 임계값과 최종 폴립 검출 성능 사이에 강한 음의 상관관계가 나타나, 높은 유사체 밀도가 학습을 악화시킬 수 있음을 시사한다.