[논문 리뷰] Computer-Aided Colorectal Tumor Classification in NBI Endoscopy Using CNN Features

Toru Tamaki, Shoji Sonoyama외 7명|arXiv (Cornell University)|2016. 08. 24.

Image Retrieval and Classification Techniques참고 문헌 18인용 수 9

한 줄 요약

이 연구는 NBI 내 endoscopy 영상에서 대장 폴립을 분류하기 위해 다수의 층과 모델에서 얻은 합성곱 신경망(CNN) 특징을 평가한다. 미세조정 없이 사전 훈련된 CNNs (AlexNet, CaffeNet, GoogLeNet)를 사용하여 초기 합성곱 층에서 추출한 특징은 선형 SVM와 조합했을 때 95%의 인식률을 기록했으며, 이는 기존의 수작업으로 설계된 특징들인 BoVW와 피셔 벡터와 비교해도 동등하거나 이를 초월한다.

ABSTRACT

In this paper we report results for recognizing colorectal NBI endoscopic images by using features extracted from convolutional neural network (CNN). In this comparative study, we extract features from different layers from different CNN models, and then train linear SVM classifiers. Experimental results with 10-fold cross validations show that features from first few convolution layers are enough to achieve similar performance (i.e., recognition rate of 95%) with non-CNN local features such as Bag-of-Visual words, Fisher vector, and VLAD.

연구 동기 및 목표

• NBI 내 endoscopic 영상 분류에서 다양한 층과 모델에서 유도된 CNN 특징들이 기존의 수작업으로 설계된 특징들과 비교하여 성능을 평가하기 위해.
• 사전 훈련된 CNNs가 미세조정 없이도 대장 종양 분류를 위한 효과적인 특징 추출기로 기능할 수 있는지 조사하기 위해.
• NBI 영상 인식에서 특징 추출에 최적화된 CNN 층(들)을 특정하기 위해.
• NBI 텍스처 패턴의 맥락에서 풀링 층과 완전 연결 층이 분류 성능에 미치는 영향을 평가하기 위해.
• 실증적 결과를 바탕으로 NBI 대장 폴립 분류에 특화된 경량이고 효율적인 CNN 모델 설계를 안내하기 위해.

제안 방법

• AlexNet, CaffeNet, GoogLeNet의 세 가지 사전 훈련된 CNN 모델의 다수 층(합성곱, 풀링, 완전 연결)에서 특징을 추출하였다.
• Caffe 딥 러닝 프레임워크를 사용하여 사전 훈련된 모델에서 NBI 영상 패치에 대해 미세조정 없이 특징을 추출하였다.
• 세 가지 NBI 카테고리(A, B, C3)의 다중 분류를 위해 추출된 특징에 선형 SVM 분류기를 적용하였다.
• 모든 데이터 분할에서 안정적인 성능 평가를 확보하기 위해 10겹 교차 검증을 수행하였다.
• 모든 NBI 영상 패치를 특징 추출 전에 고정 크기(224×224)로 조정하여 입력 차원을 표준화하였다.
• Bag-of-Visual-Words(BoVW), 피셔 벡터, VLAD와 같은 기존의 수작업으로 설계된 특징들과 성능을 비교하였다.

실험 결과

연구 질문

• RQ1 사전 훈련된 CNN의 초기 합성곱 층에서 유도된 특징들이 BoVW와 피셔 벡터와 같은 수작업으로 설계된 특징들과 비교해도 유사하거나 더 뛰어난 성능을 내는가?
• RQ2 네트워크 아키텍처에서 초기 층에서 더 깊은 층으로 갈수록 CNN 특징의 성능이 떨어지는가?
• RQ3 초기 단계의 풀링 층이 후기 단계의 풀링 층보다 분류 성능에 얼마나 기여하는가?
• RQ4 이 특정 분류 작업에서 효과적인 특징 표현을 위해 최종 완전 연결 층이 필수적인가?
• RQ5 입력 표준화를 위해 이미지를 리사이징하는 것이 특징 성능에 악영향을 미치는가, 아니면 CNN 특징들이 크기 및 종횡비 변화에 대해 강건한가?

주요 결과

• 사전 훈련된 CNN의 첫 번째 몇 개의 합성곱 층에서 추출한 특징은 95%의 인식률을 기록했으며, BoVW와 피셔 벡터와 같은 수작업으로 설계된 특징들과 동등한 성능을 보였다.
• 최고의 분류 정확도는 항상 초기 합성곱 층에서 달성되었으며, 예를 들어 AlexNet의 pool2나 CaffeNet의 conv3에서 나타났다. 이는 더 깊은 층에서는 성능이 떨어질 수 있음을 시사한다.
• 후기 합성곱 층과 완전 연결 층에서 성능이 감소했으며, 이는 더 깊은 표현이 NBI 영상 분석에 중요한 소규모 텍스처 패턴을 흐리게 할 수 있음을 시사한다.
• 초기 단계의 풀링 층(예: pool2, pool3/3x3_s2)은 성능 향상에 기여했지만, 후기 풀링 층(예: pool5)은 유의미한 기여를 하지 않았다.
• 사전 훈련된 모델의 확률 출력 층(prob layer)는 이 작업을 위해 의도되지 않았지만 여전히 유용한 특징을 제공했으며, 이는 원래의 분류 목적 외에도 활용 가능성을 시사한다.
• 이미지 리사이징이 분류 성능에 악영향을 주지 않았으며, 카테고리 간 패치의 크기 분포도 유사했기 때문에 성능 향상은 크기 기반 신호 때문이 아니라 본질적인 특징 품질 때문임을 시사한다.