[논문 리뷰] A learning without forgetting approach to incorporate artifact knowledge in polyp localization tasks.

Roger D. Soberanis-Mukul, Maxime Kayser외 4명|arXiv (Cornell University)|2020. 02. 07.

Colorectal Cancer Screening and Detection참고 문헌 30인용 수 5

한 줄 요약

이 논문은 대장내시경 영상에서 폴립과 잡음 요소를 동시에 국소화하는 데에 효과적인 새로운 학습-기억 유지 프레임워크를 제안한다. 이는 실제 임상 영상에서의 탐지 정확도를 향상시킨다. RetinaNet 기반 폴립 탐지기에 잡음 요소 지식을 통합함으로써, 어려운 잡음으로 인해 손상된 데이터셋에서도 뛰어난 성능을 달성한다. 이는 잡음 간섭 문제에 대한 종합적인 연구이자, 폴립 국소화에 있어서 학습-기억 유지 기법의 첫 응용 사례이다.

ABSTRACT

Colorectal polyps are abnormalities in the colon tissue that can develop into colorectal cancer. The survival rate for patients is higher when the disease is detected at an early stage and polyps can be removed before they develop into malignant tumors. Deep learning methods have become the state of art in automatic polyp detection. However, the performance of current models heavily relies on the size and quality of the training datasets. Endoscopic video sequences tend to be corrupted by different artifacts affecting visibility and hence, the detection rates. In this work, we analyze the effects that artifacts have in the polyp localization problem. For this, we evaluate the RetinaNet architecture, originally defined for object localization. We also define a model inspired by the learning without forgetting framework, which allows us to employ artifact detection knowledge in the polyp localization problem. Finally, we perform several experiments to analyze the influence of the artifacts in the performance of these models. To our best knowledge, this is the first extensive analysis of the influence of artifact in polyp localization and the first work incorporating learning without forgetting ideas for simultaneous artifact and polyp localization tasks.

연구 동기 및 목표

• 내시경 잡음이 폴립 국소화 성능에 미치는 악영향를 분석하기 위해.
• 실제 대장내시경 영상에서 잡음 존재 시 탐지 정확도 저하 원인을 규명하기 위해.
• 이미지에서 폴립과 잡음 요소를 동시에 학습하면서 이전 지식을 잃지 않는 통합적인 딥러닝 프레임워크를 개발하기 위해.
• 다양한 잡음 비율과 영상 품질을 가진 데이터셋에서 제안된 방법의 효과성을 평가하기 위해.

제안 방법

• 대장내시경 영상에서 폴립 국소화를 위한 기준 모델로 RetinaNet 아키텍처를 적응한다.
• 사전 학습된 폴립 탐지 지식을 유지하면서 잡음 탐지 기능을 통합한 학습-기억 유지(LwF) 기반 모델을 설계한다.
• 공동 학습 중 치명적인 기억 상실을 방지하기 위해 지식 정렬과 특징 정규화를 활용한다.
• 폴립 및 잡음 주석이 포함된 통합 데이터셋을 사용하여 공통 백본 특징을 활용해 모델을 엔드 투 엔드로 훈련한다.
• 폴립 및 잡음 탐지에 모두 관련 영역에 집중하기 위해 주의 메커니즘을 적용한다.
• 분류 및 회귀 헤드를 동시에 고려한 다중 작업 손실을 사용해 모델을 미세 조정한다.

실험 결과

연구 질문

• RQ1 다양한 종류의 내시경 잡음이 최신 폴립 국소화 모델의 성능에 어떤 영향을 미치는가?
• RQ2 잡음 탐지 지식을 통합함으로써, 잡음이 많은 환경에서 폴립 국소화의 정확도는 어느 정도 향상되는가?
• RQ3 학습-기억 유지 프레임워크는 잡음 국소화 기능을 추가하면서도 폴립 탐지 정확도를 효과적으로 유지할 수 있는가?
• RQ4 폴립 데이터만으로 학습하는 것과 비교해, 폴립 및 잡음 데이터를 함께 학습할 경우 일반화 능력과 내성에 어떤 영향을 미치는가?

주요 결과

• 제안된 LwF 기반 모델은 잡음 비율이 높은 데이터셋에서 표준 RetinaNet보다 뚜렷이 뛰어난 성능을 보이며, 더 높은 내성 확보를 확인했다.
• 잡음 탐지 지식 통합으로 폴립 탐지의 평균 정밀도(mAP)가 명확하게 향상되었으며, 특히 시야가 떨어지는 영역에서 두드러진 효과를 보였다.
• 잡음 탐지 기능 학습 이후에도 폴립 탐지 성능을 높게 유지함으로써, 효과적인 지식 유지가 이루어졌음을 확인했다.
• 제거 실험 결과, 지식 정렬과 특징 정규화가 치명적인 기억 상실을 방지하는 데 핵심적인 역할을 했다.
• 다양한 종류의 잡음과 강도를 가진 여러 대장내시경 영상 시퀀스에서 일관된 성능 향상이 관찰되었다.
• 본 연구는 임상 현장에서 실질적인 환경에서 잡음 인식 훈련이 폴립 국소화 성능을 향상시킬 수 있음을 처음으로 입증했다.