[논문 리뷰] Conversion and Implementation of State-of-the-Art Deep Learning Algorithms for the Classification of Diabetic Retinopathy

M V Achuth Rao, Michelle Zhu외 1명|arXiv (Cornell University)|2020. 10. 07.

Retinal Imaging and Analysis참고 문헌 13인용 수 9

한 줄 요약

이 연구는 제한적이고 불균형한 의료 망막 영상 데이터셋을 바탕으로 당뇨병성 망막병증(DR) 분류를 위한 최신 기술의 합성곱 신경망(CNNs)을 전이 학습과 데이터 증강을 통해 평가한다. 이중 분류에서는 ResNet50과 Adam 옵timizer가 가장 높은 성능(85.02% 정확도)을 기록했으며, 다중 분류에서는 InceptionResNetV2와 Adam이 가장 뛰어난 성능(85.02% 정확도, 97% 매크로 AUC)을 보였다.

ABSTRACT

Diabetic retinopathy (DR) is a retinal microvascular condition that emerges in diabetic patients. DR will continue to be a leading cause of blindness worldwide, with a predicted 191.0 million globally diagnosed patients in 2030. Microaneurysms, hemorrhages, exudates, and cotton wool spots are common signs of DR. However, they can be small and hard for human eyes to detect. Early detection of DR is crucial for effective clinical treatment. Existing methods to classify images require much time for feature extraction and selection, and are limited in their performance. Convolutional Neural Networks (CNNs), as an emerging deep learning (DL) method, have proven their potential in image classification tasks. In this paper, comprehensive experimental studies of implementing state-of-the-art CNNs for the detection and classification of DR are conducted in order to determine the top performing classifiers for the task. Five CNN classifiers, namely Inception-V3, VGG19, VGG16, ResNet50, and InceptionResNetV2, are evaluated through experiments. They categorize medical images into five different classes based on DR severity. Data augmentation and transfer learning techniques are applied since annotated medical images are limited and imbalanced. Experimental results indicate that the ResNet50 classifier has top performance for binary classification and that the InceptionResNetV2 classifier has top performance for multi-class DR classification.

연구 동기 및 목표

• 제한적이고 불균형한 의료 망막 영상 데이터셋으로 인한 당뇨병성 망막병증(DR) 분류 과제를 해결하기 위해.
• 최신 딥 러닝 모델들인 Inception-V3, VGG16, VGG19, ResNet50, InceptionResNetV2를 활용해 DR 영상 분류 성능을 평가하기 위해.
• 이중 및 다중 분류 모두에서 최적의 모델 아키텍처와 옵timizer 조합을 도출하기 위해.
• 입력 크기와 스킵 연결이 의료 영상 분류 작업에서 모델 성능에 미치는 영향을 탐색하기 위해.
• 특히 자원이 제한된 지역에서 활용 가능한 구현 가능하고 비용 효율적인 딥 러닝 진단 도구를 제안하기 위해.

제안 방법

• 모델 학습 시간을 단축하고 소규모 데이터셋에서의 성능 향상을 위해 사전 학습된 ImageNet 가중치를 활용한 전이 학습을 적용하였다.
• 회전, 스케일링, 노이즈 주입 등의 데이터 증강 기법을 적용하여 훈련 데이터의 다양성을 높이고 클래스 불균형 문제를 완화하였다.
• 모델 성능 평가를 위해 두 가지 입력 크기(224×224 및 299×299 픽셀)를 사용하여 입력 크기의 영향을 분석하였다.
• 학습 과정에서 Adam과 확률적 경사 하강법(SGD) 두 가지 옵timizer를 사용하여 수렴성과 정확도에 미치는 영향을 비교하였다.
• DR 진행 단계에 따라 다섯 단계의 중증도 수준(0–4)으로 나누어 다중 분류를 수행하였으며, 카테고리형 교차 엔트로피 손실 함수를 사용하였다.
• 결정 트리 유사한 접근 방식을 활용한 다단계 이중 분류 시스템을 제안하였으며, 개별 이중 모델의 시그모이드 출력을 Argmax를 통해 조합하여 최종 5클래스 예측을 도출하였다.

실험 결과

연구 질문

• RQ1 이중 및 다중 분류 설정에서 당뇨병성 망막병증 분류에 가장 높은 정확도를 기록하는 최신 기술의 CNN 아키텍처는 무엇인가?
• RQ2 다른 옵timizer(Adam 대비 SGD)는 제한된 의료 영상 데이터에서 모델 수렴성과 성능에 어떤 영향을 미치는가?
• RQ3 모델의 기본 입력 크기를 사용할 경우, 맞춤형 입력 크기보다 성능 향상이 이루어지는가?
• RQ4 잔차 네트워크(예: ResNet50)의 스킵 연결은 기울기 소실 문제를 어느 정도 완화하고 학습을 향상시키는가?
• RQ5 직접 다중 분류 학습 대비 다단계 이중 분류 시스템이 5클래스 DR 중증도 예측 정확도를 향상시키는가?

주요 결과

• 이중 분류에서 ResNet50와 Adam 옵timizer 조합이 가장 높은 테스트 정확도 85.02%를 기록하여 다른 모델들을 압도하였다.
• 다중 분류에서 InceptionResNetV2와 Adam 조합이 가장 뛰어난 성능을 보였으며, 테스트 정확도 85.02%와 매크로 평균 AUC 0.97를 달성하였다.
• Adam으로 학습한 모델은 특히 다중 분류 과제에서 SGD로 학습한 모델보다 유의미하게 높은 성능을 보였다.
• 모델 전용 기본 입력 크기(224×224 또는 299×299)를 사용할 경우, 재크기 조정된 입력보다 더 높은 성능을 기록하였으며, 이는 사전 학습된 특징 맵이 그대로 유지되었기 때문으로 여겨진다.
• ResNet50 및 InceptionResNetV2의 스킵 연결은 기울기 소실 문제를 완화시켜 깊은 아키텍처에서 안정적이고 효과적인 학습을 가능하게 하였다.
• 혼동 행렬과 ROC 곡선을 통해 최고 성능을 기록한 모델, 특히 다중 분류 설정에서 InceptionResNetV2는 높은 특이도와 민감도를 보였다.