[논문 리뷰] Ensemble of Convolutional Neural Networks for Automatic Grading of Diabetic Retinopathy and Macular Edema

Avinash Kori, Sai Saketh Chennamsetty외 2명|arXiv (Cornell University)|2018. 09. 12.

Retinal Imaging and Analysis참고 문헌 5인용 수 34

한 줄 요약

이 논문은 편집지의 기반으로 한 전이학습을 적용한 합성곱 신경망(CNN) 앙상블을 제안하여 망막도자증(DR)과 매크로라 염종(DME)의 자동 평가를 수행한다. 사전 훈련된 ResNet 및 DenseNet 모델을 조합하고, 모델 정제, 10-크롭 증강, 최대 투표 추론을 적용함으로써, DR 평가에서 83.9%의 정확도(n=56)와 DME 평가에서 95.45%의 정확도(n=44)를 달성하여 단일 모델보다 더 높은 강건성과 성능을 입증한다.

ABSTRACT

In this manuscript, we automate the procedure of grading of diabetic retinopathy and macular edema from fundus images using an ensemble of convolutional neural networks. The availability of limited amount of labeled data to perform supervised learning was circumvented by using transfer learning approach. The models in the ensemble were pre-trained on a large dataset comprising natural images and were later fine-tuned with the limited data for the task of choice. For an image, the ensemble of classifiers generate multiple predictions, and a max-voting based approach was utilized to attain the final grade of the anomaly in the image. For the task of grading DR, on the test data (n=56), the ensemble achieved an accuracy of 83.9\%, while for the task for grading macular edema the network achieved an accuracy of 95.45% (n=44).

연구 동기 및 목표

• 딥 러닝을 활용하여 편집지의 기반으로 한 망막도자증(DR)과 매크로라 염종(DME)의 임상적 평가를 자동화한다.
• ImageNet 사전 훈련된 모델을 활용하여 제한된 레이블이 부여된 의료 영상 데이터 문제를 해결한다.
• 다양한 CNN 아키텍처를 앙상블 학습을 통해 조합하여 분류 정확도와 강건성을 향상시킨다.
• 이중 단계 분류기 설계를 통해 드문 DR 중증도 등급에 대한 데이터 불균형 문제를 완화하고 성능을 향상시킨다.
• 최종 평가 성능에 미치는 데이터 증강(10-크롭 추론), 모델 정제, 앙상블 투표의 영향을 평가한다.

제안 방법

• 8개의 사전 훈련된 CNN(ResNet 및 DenseNet 변종) 앙상블을 사용하며, 제한된 DR 및 DME 편집지 영상 데이터에 대해 모델을 미세 조정한다.
• 전이학습은 ImageNet 사전 훈련된 가중치로 모델을 초기화하고 의료 데이터셋에서 미세 조정함으로써 적용된다.
• 이미지 전처리에는 224×224로 크기 조정, 강도 정규화, ImageNet 통계를 사용한 z-스코어 정규화가 포함된다.
• DR 평가의 경우 이중 단계 분류기를 사용한다: 4개 클래스(Normal, Mild, Moderate, Severe-PDR)를 위한 주된 앙상블과, Severe NPDR와 PDR를 구분하기 위한 전문가 앙상블.
• DME 평가의 경우 클래스 불균형을 다루기 위해 일대다(OVR) 전략을 적용하며, 각 클래스별로 별도의 앙상블을 훈련시킨다.
• 최종 예측은 앙상블 내 모든 모델의 최대 투표를 통해 이루어지며, DME의 경우 모델 출력에 기반한 결정 규칙이 적용된다.

실험 결과

연구 질문

• RQ1 제한된 레이블이 부여된 데이터에서 전이학습을 적용한 CNN 앙상블이 단일 모델보다 우수한 성능을 내는가?
• RQ2 딥 러닝 앙상블에서 모델 정제가 성능과 효율성에 기여하는가?
• RQ3 10-크롭 데이터 증강이 DR 및 DME 평가의 일반화 능력과 정확도 향상에 얼마나 효과적인가?
• RQ4 이중 단계 분류기 아키텍처가 임상적으로 중요한 Severe NPDR와 PDR 간의 구분을 향상시키는가?
• RQ5 일대다 전략을 사용할 경우 DME 평가에서 클래스 불균형 문제가 얼마나 완화되는가?

주요 결과

• 앙상블 모델은 DR 평가 테스트 데이터에서 83.9%의 정확도를 달성(n=56)하였으며, 최고의 단일 모델보다 1% 향상된 성능을 보였다.
• 모델 정제를 통해 앙상블 내 모든 모델을 사용한 경우 대비 정확도가 1.78% 향상되어, 선택적 모델 선별이 성능 향상에 기여함을 시사한다.
• 10-크롭 추론을 통해 테스트 세트에서 정확도가 85.7%로 상승하였으며, 이를 제거할 경우 성능이 6.82% 감소하여 강건성 확보에 중요한 역할을 함을 입증한다.
• 전문가 분류기의 도입으로 전체 DR 평가 정확도가 14% 포인트 향상되었으며, 단일 5-클래스 모델의 65%에서 앙상블 적용 시 79%로 상승하였다.
• DME 평가의 경우 앙상블는 테스트 세트에서 95.45%의 정확도를 달성(n=44)하였고, 전체 훈련 세트(n=502)에서는 96.85%의 정확도를 기록하였다.
• 혼동 행렬을 통해 특히 DME의 경우 높은 특이도와 민감도를 보였으며, 테스트 세트에서 19/19건의 Grade 2 케이스가 정확하게 분류되었다.