[논문 리뷰] TRk-CNN: Transferable Ranking-CNN for image classification of glaucoma, glaucoma suspect, and normal eyes

Tae Joon Jun, Youngsub Eom외 5명|arXiv (Cornell University)|2019. 05. 16.

Retinal Imaging and Analysis참고 문헌 37인용 수 4

한 줄 요약

이 논문은 망막 사진에서 질환 단계 간 순서적 관계를 모델링함으로써 녹내체, 녹내체 의심자, 정상 눈의 분류 성능을 향상시키는 이식 가능한 순서 분류 컨볼루션 신경망인 TRk-CNN을 제안한다. 기본 분류 점수를 학습된 가중치와 조합함으로써 TRk-CNN은 평균 정확도 92.96%를 달성하여 표준 다중 클래스 CNN과 Ranking-CNN보다 각각 8.04%와 9.54% 높으며, 녹내체 의심자에 대한 민감도는 26.83% 향상되었다.

ABSTRACT

In this paper, we proposed Transferable Ranking Convolutional Neural Network (TRk-CNN) that can be effectively applied when the classes of images to be classified show a high correlation with each other. The multi-class classification method based on the softmax function, which is generally used, is not effective in this case because the inter-class relationship is ignored. Although there is a Ranking-CNN that takes into account the ordinal classes, it cannot reflect the inter-class relationship to the final prediction. TRk-CNN, on the other hand, combines the weights of the primitive classification model to reflect the inter-class information to the final classification phase. We evaluated TRk-CNN in glaucoma image dataset that was labeled into three classes: normal, glaucoma suspect, and glaucoma eyes. Based on the literature we surveyed, this study is the first to classify three status of glaucoma fundus image dataset into three different classes. We compared the evaluation results of TRk-CNN with Ranking-CNN (Rk-CNN) and multi-class CNN (MC-CNN) using the DenseNet as the backbone CNN model. As a result, TRk-CNN achieved an average accuracy of 92.96%, specificity of 93.33%, sensitivity for glaucoma suspect of 95.12% and sensitivity for glaucoma of 93.98%. Based on average accuracy, TRk-CNN is 8.04% and 9.54% higher than Rk-CNN and MC-CNN and surprisingly 26.83% higher for sensitivity for suspicious than multi-class CNN. Our TRk-CNN is expected to be effectively applied to the medical image classification problem where the disease state is continuous and increases in the positive class direction.

연구 동기 및 목표

• 정상, 녹내체 의심자, 녹내체와 같은 의료 영상 클래스 간 순서적 관계를 모델링하는 데에 표준 다중 클래스 CNN의 한계를 해결하기 위해.
• 질병 상태가 양의 방향으로 지속적으로 진행되는 의료 영상 분석 과제에서 분류 성능을 향상시키기 위해.
• 기존 Ranking-CNN 접근 방식의 단점을 보완하기 위해, 상호 클래스 간 관계를 최종 예측 단계에 효과적으로 통합하는 방법을 개발하기 위해.
• 코리아 대학 의료 센터에서 수집한 신규 3클래스 녹내체 망막 영상 데이터셋을 바탕으로 TRk-CNN의 유효성을 입증하기 위해.

제안 방법

• TRk-CNN는 N−1개의 이진 분류기로 구성된 두 단계 파이프라인을 사용하여 클래스 간 순서적 관계를 예측한다.
• 각 기본 분류기는 판별적 영역(예: 시신경두 및 시신경혈관)을 국소화하기 위해 클래스 활성화 맵(CAM)을 생성한다.
• 예측을 모두 통합하기 위해 출력값의 가중치 합을 학습함으로써 상호 클래스 간 순서 정보를 유지한다.
• 특징 추출을 위해 DenseNet 백본을 사용하며, 이진 하위 분류기에서 완전 연결층을 제거하여 공간 국소화를 유지한다.
• 최종 분류 점수는 기본 분류기 출력값의 가중치 합으로 계산되며, backpropagation을 통한 엔드 투 엔드 학습이 가능하다.
• 모델는 정상, 녹내체 의심자, 녹내체의 세 가지 임상적으로 유의미한 클래스로 구성된 실제 망막 영상 데이터셋에서 훈련 및 평가되었다.

실험 결과

연구 질문

• RQ1 질병 단계 간 순서적 관계를 명시적으로 모델링하는 딥 러닝 모델이 의료 영상 분석에서 분류 성능을 향상시킬 수 있는가?
• RQ2 TRk-CNN는 표준 다중 클래스 CNN과 Ranking-CNN에 비해 세 단계로 진행되는 녹내체를 분류하는 데에서 어떻게 성능을 냈는가?
• RQ3 학습된 가중치 융합를 통해 상호 클래스 간 관계를 통합함으로써, 녹내체 의심자와 같은 중간 질병 상태의 민감도는 얼마나 향상되는가?
• RQ4 제안된 방법은 녹내체 영상의 다양한 관심 영역(예: 시신경두, 시신경혈관, 원본 망막 영역)에 대해 잘 일반화되는가?
• RQ5 TRk-CNN는 임상적으로 의미 있는 3클래스 레이블링이 적용된 실제 녹내체 망막 데이터셋에서 뛰어난 성능을 달성할 수 있는가?

주요 결과

• TRk-CNN는 평균 정확도 92.96%를 기록하여 Rk-CNN(84.92%)과 MC-CNN(83.42%)보다 각각 8.04%와 9.54% 높은 성능을 보였다.
• 녹내체 의심자 분류에 대한 민감도는 95.12%에 도달하여 다중 클래스 CNN 기준선 대비 26.83% 향상되었다.
• 특이도는 93.33%로, 비질병 케이스를 정확히 식별한 강력한 성능을 보였다.
• 심층 컨볼루션 레이어에서도 시신경두 및 시신경혈관 영역에서 강력한 특징 활성화가 관찰되어 질병 관련 해부학적 영역의 효과적인 국소화를 확인했다.
• 시각화 결과, 수동으로 주석이 달린 시신경두 영역만 존재하더라도 모델이 자동으로 병적 영역인 시신경혈관 영역을 강조하는 것을 확인했다.
• 가장 높은 성능을 보인 하위 모델이 항상 최종 결과에서 최고 성능을 내지 않았으며, 이는 최종 분류 단계에서 앙상블 가중치의 중요성을 강조한다.