[논문 리뷰] Depth Reconstruction and Computer-Aided Polyp Detection in Optical Colonoscopy Video Frames

Saad Nadeem, Arie Kaufman|arXiv (Cornell University)|2016. 09. 05.

Advanced Image and Video Retrieval Techniques참고 문헌 22인용 수 11

한 줄 요약

이 논문은 가상 대장내시경(VC) 학습 데이터에서 깊이 맵 추정을 통해 광학 대장내시경에서 폴립을 자동으로 탐지하는 시스템을 제안한다. VC 데이터셋에서 학습된 기계학습 기반 RGB-깊이 사전을 활용하여, 카메라 파ameters나 기하학적 가정 없이 2차원 광학 대장내시경 프레임에서 깊이를 추론한다. 이로 인해 폴립 탐지에서 84.0%의 재현율과 83.4%의 특이도를 달성하였다.

ABSTRACT

We present a computer-aided detection algorithm for polyps in optical colonoscopy images. Polyps are the precursors to colon cancer. In the US alone, more than 14 million optical colonoscopies are performed every year, mostly to screen for polyps. Optical colonoscopy has been shown to have an approximately 25% polyp miss rate due to the convoluted folds and bends present in the colon. In this work, we present an automatic detection algorithm to detect these polyps in the optical colonoscopy images. We use a machine learning algorithm to infer a depth map for a given optical colonoscopy image and then use a detailed pre-built polyp profile to detect and delineate the boundaries of polyps in this given image. We have achieved the best recall of 84.0% and the best specificity value of 83.4%.

연구 동기 및 목표

• 복잡한 대장 해부학적 구조와 3차원 정보 부족으로 인한 광학 대장내시경에서의 높은 폴립 유실률(~25%)을 해결하기 위해.
• 단일 렌즈, 동적 대장내시경 환경에서 전통적인 컴퓨터 비전 기법(예: 스테레오 기반 형태, 조명 기반 형태)의 한계를 극복하기 위해.
• 기계학습과 VC 유래 학습 데이터를 활용한 3차원 깊이 특징 추정을 통해 2차원 광학 대장내시경에서 정확한 폴립 탐지를 가능하게 하기 위해.
• 카메라 파ameters에 의존하지 않는 견고한 깊이 복원 및 폴립 경계 분할 방법을 개발하기 위해.
• 일반화 가능한 깊이 표현을 활용하여 다른 내시경 절차(예: 기관지내시경)로의 확장 가능성을 확보하기 위해.

제안 방법

• 3D CT 기반 대장 재구성에서 유도된 깊이 맵을 사용하여 가상 대장내시경(VC) 데이터셋을 기반으로 RGB-깊이 사전를 구축한다.
• 사전 학습된 RGB-깊이 사전를 활용하여 입력된 광학 대장내시경(OC) RGB 영상에서 해당 깊이 맵으로의 기계학습 기반 매핑을 적용한다.
• 깊이 맵 공간에 사전 구축된 폴립 프로파일 데이터베이스를 활용하여 3차원 기하학적 특징 기반으로 폴립 경계를 탐지하고 분할한다.
• 깊이 맵 복원 품질 평가를 위해 구조적 유사도 및 정규화 오차 지표(NRMSE, HD, SSIM)를 활용한다.
• 내시경 영상의 내재 카메라 파ameters나 강체 대장 기하학적 가정 없이 실제 OC 영상 프레임에 방법을 적용한다.
• VC에서 OC 영상로의 깊이 표현을 전이하기 위해 최근접 이웃 유사 전략을 사용하여 고밀도 깊이 추정을 가능하게 한다.

실험 결과

연구 질문

• RQ1 가상 대장내시경 데이터에서 학습된 기계학습 모델을 활용해 2차원 광학 대장내시경 영상에서 깊이 맵을 효과적으로 추론할 수 있는가?
• RQ2 3차원 기하학적 깊이 정보를 통합함으로써 2차원 대장내시경 영상에서 폴립 탐지 성능이 얼마나 향상되는가?
• RQ3 이러한 방법이 내시경 영상에서 시점 변화, 질감 다양성, 카메라 캘리브레이션 부재 등의 변화에 대해 얼마나 견고한가?
• RQ4 이 깊이 추정 프레임워크는 대장내시경을 초월한 다른 내시경 절차로 일반화될 수 있는가?
• RQ5 실제 임상 영상 프레임에서 폴립 탐지의 재현율과 특이도 측면에서 시스템의 성능은 어떠한가?

주요 결과

• 제안된 방법은 300개의 내시경 영상 프레임(폴립 75개, 정상 225개)에서 최대 84.0%의 재현율과 83.4%의 특이도를 달성하였다.
• 최적의 질감 조건에서 RGB-깊이 사전를 활용한 깊이 맵 복원은 NRMSE 0.43, HD 0.43, SSIM 0.30을 기록하였다.
• 내재 카메라 파ameters나 대장의 강성에 대한 가정 없이도 OC 영상에서 고밀도 깊이 맵을 성공적으로 복원하였다.
• 실패 사례는 주로 폴립과 배경 간 질감 유사성으로 인해 발생하였으며, 그림 9에서 볼 수 있듯이 정확한 깊이 추정에도 불구하고 폴립이 탐지되지 않았다.
• 프레임워크는 일반화 잠재력이 높았으며, 동일한 사전를 사용하여 기관지내시경 영상 프레임에 깊이 추정을 성공적으로 적용하였다.
• Hong 등 [15]의 이전 방법은 왜곡된 복원을 생성하고 표면 뷰를 처리할 수 없어 성능이 열 劣하였으며, 그림 8에서 이를 확인할 수 있었다.