[논문 리뷰] Patch-based Convolutional Neural Network for Whole Slide Tissue Image Classification

Le Hou, Dimitris Samaras외 4명|arXiv (Cornell University)|2015. 04. 29.

AI in cancer detection참고 문헌 43인용 수 32

한 줄 요약

이 논문은 기존의 전역적 이미지 분류 방식의 계산적 제약를 고려하여, 기대값 최대화(EM) 기반 방법을 활용해 전체 슬라이드 조직 이미지(WSI) 분류를 위한 특징적인 이미지 패치를 식별하는 패치 기반 합성곱 신경망(CNN)을 제안한다. 이는 계산 자원의 제약 속에서도 정확한 암 아형 분류를 가능하게 하며, 병리의학자 간의 관찰자 간 일致도 수준에 근접한 정확도를 달성하며, 이미지 수준의 CNN보다도 WSI 및 비암성 데이터셋에서 뛰어난 성능을 보인다.

ABSTRACT

Convolutional Neural Networks (CNN) are state-of-the-art models for many image classification tasks. However, to recognize cancer subtypes automatically, training a CNN on gigapixel resolution Whole Slide Tissue Images (WSI) is currently computationally impossible. The differentiation of cancer subtypes is based on cellular-level visual features observed on image patch scale. Therefore, we argue that in this situation, training a patch-level classifier on image patches will perform better than or similar to an image-level classifier. The challenge becomes how to intelligently combine patch-level classification results and model the fact that not all patches will be discriminative. We propose to train a decision fusion model to aggregate patch-level predictions given by patch-level CNNs, which to the best of our knowledge has not been shown before. Furthermore, we formulate a novel Expectation-Maximization (EM) based method that automatically locates discriminative patches robustly by utilizing the spatial relationships of patches. We apply our method to the classification of glioma and non-small-cell lung carcinoma cases into subtypes. The classification accuracy of our method is similar to the inter-observer agreement between pathologists. Although it is impossible to train CNNs on WSIs, we experimentally demonstrate using a comparable non-cancer dataset of smaller images that a patch-based CNN can outperform an image-based CNN.

연구 동기 및 목표

• 기존의 기가피셀 전역 슬라이드 조직 이미지(WSI)에 직접 CNN을 훈련시키는 데 있어 계산적으로 비현실적인 문제를 해결하기 위해.
• 세포 수준의 시각적 패턴을 반영하는 패치 수준의 특징을 활용하여 암 아형 분류 성능을 향상시키기 위해.
• 공간적 관계와 패치 간 레이블 불일치를 고려하여 패치 수준 예측을 융합하는 강건한 의사결정 융합 모델을 개발하기 위해.
• 패치 수준의 레이블이 필요 없이 EM 기반 프레임워크를 통해 자동으로 특징적인 패치를 식별하기 위해.
• 특징이 패치 척도에서 산산이 흩어져 있을 경우 패치 기반 CNN이 이미지 수준의 CNN보다 우수한 성능을 낼 수 있음을 입증하기 위해.

제안 방법

• 두 수준의 모델을 제안한다: 1단계 CNN은 개별 이미지 패치를 분류하고, 2단계 모델은 이러한 예측을 융합하여 이미지 수준의 레이블을 도출한다.
• EM 기반 알고리즘은 진짜 레이블이 WSI의 레이블과 일치하는지 여부를 나타내는 은닉 변수를 모델링함으로써 반복적으로 특징적인 패치를 식별한다.
• 초기 훈련에서는 모든 패치가 특징적이라고 가정하고, 이후 EM 반복 과정에서 신뢰도 점수가 낮은 패치를 제거하여 수렴할 때까지 반복한다.
• 특징적인 영역의 국소화를 향상시키고 노이즈를 줄이기 위해 확률 맵에 공간적 스무딩을 적용한다.
• 패치 수준의 예측 히스토그램을 기반으로 다중 클래스 로지스틱 회귀 또는 SVM을 사용하여 이미지 수준의 분류를 수행한다.
• 일반화 능력을 검증하기 위해 간질성 뇌종양 및 비소세포성 폐암의 WSI에 대해 검증하였으며, 추가로 철도 표면 결함 평가에 대해 테스트하였다.

실험 결과

연구 질문

• RQ1 기대값 최대화(EM) 기반 결합 전략을 사용하는 패치 기반 CNN은 기가피셀 전역 슬라이드 조직 이미지에서 직접 이미지 수준의 CNN 분류보다 성능이 뛰어나게 되는가?
• RQ2 패치 수준의 레이블이 없을 경우 특징적인 패치를 어떻게 자동으로 식별할 수 있는가?
• RQ3 EM 기반 방법을 통한 특징 패치 탐지 방식이 단순 투표나 풀링 전략보다 분류 정확도를 향상시키는가?
• RQ4 패치 기반 접근 방식은 암 아형 분류에서 병리의학자 간 관찰자 간 일치도 수준에 도달할 수 있는가?
• RQ5 특징이 패치 척도에서 산재해 있을 경우, 비암성 데이터셋과 같은 더 작은 데이터셋에서도 패치 기반 CNN이 이미지 수준의 CNN보다 뛰어난 성능을 낼 수 있는가?

주요 결과

• 제안된 EM-CNN-SVM 방법은 철도 표면 결함 평가에서 81.3%의 정확도를 기록하여 이미지 기반의 CNN-Image 방법(77.0% 정확도)을 뛰어넘었다.
• EM-CNN-Fea-SVM 방법은 83.0%의 정확도를 달성하여 사전 학습된 CNN-ImageFea-SVM 기준선(77.8% 정확도)을 초월하였다.
• 간질성 뇌종양 및 비소세포성 폐암의 WSI에서 패치 기반 방법은 병리의학자 간 관찰자 간 일치도 수준에 근접한 분류 정확도를 달성하였다.
• 특징 패턴이 산산이 흩어져 있을 경우 패치 기반 접근 방식이 이미지 수준의 CNN보다 뛰어난 성능을 보이며, 패치 수준의 특징이 더 효과적임을 입증하였다.
• EM 기반 방법은 비특징 패치를 성공적으로 식별하고, 반복적인 훈련 세트 개선을 통해 모델의 강건성을 향상시켰다.
• 이 연구는 특징이 이미지 전반에 걸쳐 국소화되어 있고 이질적인 경우, 패치 기반으로 훈련된 CNN이 이미지 수준의 CNN보다 뛰어나다는 것을 확인하였다.