[논문 리뷰] Generic Feature Learning for Wireless Capsule Endoscopy Analysis

Santi Seguí, Michal Drozdzal외 5명|arXiv (Cornell University)|2016. 07. 26.

Gastrointestinal Bleeding Diagnosis and Treatment참고 문헌 35인용 수 16

한 줄 요약

이 논문은 RGB 및 구조적 사전지식(Laplacian/Hessian)을 사용하여 유선형 내시경(WCE) 영상 분석에서 일반적인 특징 학습을 위한 딥 컨volution 신경망(CNN) 기반 시스템을 제안한다. 이는 6종의 장내 운동 이벤트를 분류하는 데에 사용되며, 평균 분류 정확도 96%를 달성하여 수작업 특징 추출 기반 방법보다 14% 상대적 향상률을 기록한다.

ABSTRACT

The interpretation and analysis of the wireless capsule endoscopy recording is a complex task which requires sophisticated computer aided decision (CAD) systems in order to help physicians with the video screening and, finally, with the diagnosis. Most of the CAD systems in the capsule endoscopy share a common system design, but use very different image and video representations. As a result, each time a new clinical application of WCE appears, new CAD system has to be designed from scratch. This characteristic makes the design of new CAD systems a very time consuming. Therefore, in this paper we introduce a system for small intestine motility characterization, based on Deep Convolutional Neural Networks, which avoids the laborious step of designing specific features for individual motility events. Experimental results show the superiority of the learned features over alternative classifiers constructed by using state of the art hand-crafted features. In particular, it reaches a mean classification accuracy of 96% for six intestinal motility events, outperforming the other classifiers by a large margin (a 14% relative performance increase).

연구 동기 및 목표

• 각 새로운 WCE 임상 적용 사례에 맞게 맞춤형 영상 표현을 설계하는 데 소요되는 시간 문제를 해결하기 위해.
• 장내 운동 이벤트에 대한 수동적 특징 설계를 피하기 위한 일반적인 특징 학습 시스템을 개발하기 위해.
• 제한된 레이블이 부여된 예시에서 딥 러닝의 성능을 평가하기 위해.
• 제한된 학습 데이터 환경에서 구조적 사전지식(Laplacian/Hessian)을 추가함으로써 분류 성능 향상 여부를 조사하기 위해.
• 엔드 투 엔드 딥 러닝을 사용하여 WCE 운동 이벤트 분류 분야에서 새로운 최고 성능 기록을 수립하기 위해.

제안 방법

• RGB 채널을 입력으로 사용하여 색상 기반 특징 학습을 위한 딥 CNN 아키텍처를 WCE 영상 분류에 적응시켰다.
• 구조적 및 텍스처 정보를 사전지식으로 코딩하기 위해 라플라시안 및 헤시안 필터를 사용한 추가 입력 스트림을 도입하였다.
• 120,000개의 레이블이 부여된 WCE 영상으로 구성된 대규모 데이터셋을 사용하여 네트워크를 훈련하였으며, 정확도 향상을 위해 데이터 증강 기법을 적용하였다.
• 최종 완전 연결층에 t-SNE 시각화를 적용하여 클래스 분포 및 모델 동작을 분석하였다.
• 10만 장의 훈련 영상을 사용하여 시스템을 평가하였으며, 데이터 크기 및 사전지식 포함 여부에 대한 분석 실험을 수행하였다.
• 전통적인 수작업 특징 기반 기술인 SIFT, GIST, 색상 히스토GRAM과의 성능 비교를 수행하였다.

실험 결과

연구 질문

• RQ1 WCE 영상에서 훈련된 일반적인 딥 러닝 모델이 운동 이벤트 탐지에 있어 수작업 특징 기반 분류기보다 우수한 성능을 보일 수 있는가?
• RQ2 제한된 훈련 데이터에서 라플라시안 및 헤시안 사전지식을 포함시키면 분류 정확도에 어떤 영향을 미치는가?
• RQ3 훈련 데이터 크기가 제안된 CNN 기반 시스템의 성능에 어떤 영향을 미치는가?
• RQ4 학습된 특징이 흐린,气체 기반, 주름 모양의 영상 등 다양한 WCE 영상 패턴에 일반화될 수 있는가?
• RQ5 실패 사례는 경계가 모호하거나 혼동 가능한 영상 클래스를 구분하는 데에서 나타나는 제한점을 어떻게 드러내는가?

주요 결과

• 제안된 CNN 기반 시스템은 6종의 장내 운동 이벤트에 대해 평균 분류 정확도 96%를 달성하였으며, 두 번째로 우수한 방법보다 14% 상대적 향상률을 기록하였다.
• SIFT, GIST, 색상 히스토GRAM과 같은 전통적 기술보다도 성능이 뛰어나 WCE 운동 분류 분야에서 새로운 최고 성능을 확립하였다.
• 라플라시안 및 헤시안 사전지식을 추가하면 훈련 데이터가 제한적일 경우(1,000장) 정확도가 2.6% 향상되지만, 데이터가 증가함에 따라 이 효과는 점점 줄어든다.
• t-SNE 시각화 결과, 모델이 의미 있는 클래스 간 분리를 학습하고 있으며, 흐린 영상, 클리어 블롭, 주름 모양의 영상에 대해 명확한 군집이 형성됨을 확인하였다.
• 실패 사례는 주로 혼합된 흐린 영상과 기포 기반 영상 또는 주름 모양의 텍스처를 띤 클리어 블롭 간의 경계가 모호한 경우에 자주 발생한다.
• 결과적으로, 도메인 특화 사전지식을 통합한 경우, 중간 크기의 의료 영상 데이터셋에서도 딥 CNN 기반의 일반적인 특징 학습이 매우 효과적임을 입증하였다.