[논문 리뷰] Convolutional Neural Networks for Histopathology Image Classification: Training vs. Using Pre-Trained Networks

Brady Kieffer, Morteza Babaie외 2명|arXiv (Cornell University)|2017. 10. 11.

AI in cancer detection참고 문헌 18인용 수 23

한 줄 요약

이 연구는 Kimia Path24 데이터셋에서 조직병리학 영상 분류를 위한 사전 훈련된 합성곱 신경망(CNN)과 스크래치에서 CNN을 훈련하는 방법을 평가한다. 특히 Inception-v3를 사용한 사전 훈련된 네트워크의 딥 특징을 활용할 경우 최대 76.10%의 상위-1 정확도를 달성하여 뛰어난 성능을 보였으며, 특히 Inception의 경우 미세조정(fine-tuning)을 통해 성능 향상이 두드러졌지만 VGG16에서는 그렇지 않았다. 이는 의료 영상 작업에 적절하게 적용된 전이 학습(transfer learning)이 매우 효과적임을 시사한다.

ABSTRACT

We explore the problem of classification within a medical image data-set based on a feature vector extracted from the deepest layer of pre-trained Convolution Neural Networks. We have used feature vectors from several pre-trained structures, including networks with/without transfer learning to evaluate the performance of pre-trained deep features versus CNNs which have been trained by that specific dataset as well as the impact of transfer learning with a small number of samples. All experiments are done on Kimia Path24 dataset which consists of 27,055 histopathology training patches in 24 tissue texture classes along with 1,325 test patches for evaluation. The result shows that pre-trained networks are quite competitive against training from scratch. As well, fine-tuning does not seem to add any tangible improvement for VGG16 to justify additional training while we observed considerable improvement in retrieval and classification accuracy when we fine-tuned the Inception structure.

연구 동기 및 목표

• 사전 훈련된 딥 신경망의 성능을 스크래치에서 CNN을 훈련시키는 것과 비교하여 조직병리학 영상 분류 작업에서 평가하는 것.
• 제한된 의료 훈련 데이터를 사용할 때 전이 학습과 미세조정이 분류 정확도에 미치는 영향을 평가하는 것.
• 비의료 데이터셋(예: ImageNet)에서 사전 훈련된 특징가 조직병리학 영상 인식 작업에 효과적으로 일반화되는지 여부를 확인하는 것.
• 특히 VGG16과 Inception-v3 간의 아키텍처 차이가 전이 학습 효과성에 미치는 영향을 조사하는 것.
• 대규모 레이블이 부여된 데이터셋이 부족한 디지털 병리학 환경에서 전이 학습의 실용성에 대한 경험적 증거를 제공하는 것.

제안 방법

• ImageNet에서 사전 훈련된 CNN(VGG16, Inception-v3)의 최종 완전히 연결된 층에서 딥 특징을 추출하였다.
• 네트워크 가중치를 업데이트하지 않고, 추출된 특징에 대해 선형 SVM 분류기를 훈련시켜 영상 분류를 수행하였다.
• Kimia Path24 데이터셋에서 사전 훈련된 네트워크를 미세조정하여 네트워크 가중치의 전부 또는 일부를 업데이트하였다.
• 스크래치에서 훈련하는 동안 훈련 세트 크기를 인위적으로 증가시키기 위해 데이터 증강 기법을 적용하였다.
• 모델의 주의 집중 영역을 해석하고 특징의 관련성을 검증하기 위해 Grad-CAM 시각화를 적용하였다.
• 표준 평가 지표인 상위-1 정확도, 상위-5 정확도 및 평균 정밀도(mAP)를 사용하여 성능을 평가하였다.

실험 결과

연구 질문

• RQ1 비의료 데이터셋에서 사전 훈련된 CNN 특징가 스크래치에서 훈련된 CNN과 비교해 조직병리학 영상에서 경쟁 가능한 분류 성능을 달성할 수 있는가?
• RQ2 사전 훈련된 네트워크의 미세조정이 Kimia Path24 데이터셋에서 분류 정확도를 향상시키는가? 만약 그렇다면 어떤 아키텍처에서 성능 향상이 발생하는가?
• RQ3 이 설정에서 왜 미세조정이 Inception-v3의 성능 향상에 기여하는 반면 VGG16에서는 기여하지 않는가?
• RQ4 스크래치에서 조직병리학 데이터를 기반으로 학습한 특징에 비해 사전 훈련된 네트워크에서 추출한 딥 특징의 표현 능력은 어떻게 비교되는가?
• RQ5 전이 학습이 레이블이 제한된 조직병리학 데이터 문제를 어느 정도 완화할 수 있는가?

주요 결과

• 특히 Inception-v3를 사용한 사전 훈련된 네트워크는 미세조정을 통해 상위-1 정확도 74.87%를 달성하여 스크래치 훈련을 크게 뛰어넘었다.
• 미세조정 없이 사전 훈련된 특징를 사용한 경우(Fe-Inception-v3) 상위-1 정확도 70.94%를 기록하여 비의료 데이터에서의 강력한 일반화 능력을 입증하였다.
• VGG16의 경우 미세조정이 성능 향상에 기여하지 않았다(상위-1 정확도 63.85%), 이는 해당 아키텍처가 이 데이터셋에서의 적응에 기여하지 않는다는 것을 시사한다.
• Inception-v3의 경우 특징 추출만으로도 3.93%p의 상위-1 정확도 향상이 있었으며, 이는 조직병리학 패atters에 대한 적응 가능성의 높음을 보여준다.
• Grad-CAM 시각화 결과, 모델이 생물학적으로 관련된 구조(예: 조직 가장자리, 질감 패턴)에 주로 주목하고 있음을 확인하여 모델의 해석 가능성은 검증되었다.
• 본 연구는 레이블이 제한된 환경에서 전이 학습을 활용한 사전 훈련된 네트워크가 조직병리학 영상 분류에 매우 효과적이고 효율적인 전략임을 입증하였다.