[논문 리뷰] Evaluation of Transfer Learning for Classification of: (1) Diabetic Retinopathy by Digital Fundus Photography and (2) Diabetic Macular Edema, Choroidal Neovascularization and Drusen by Optical Coherence Tomography

Rony Gelman|arXiv (Cornell University)|2019. 01. 26.

Retinal Imaging and Analysis참고 문헌 27인용 수 4

한 줄 요약

이 학위논문은 망막 사진에서 당뇨성 망막병증을, 광학 간섭 단층촬영(OCT) 영상에서 당뇨성 망막병변, 망막하 신생혈관화, 단백질 침착을 분류하기 위해 사전 훈련된 깊은 신경망(DenseNet, ResNet, Inception, VGG, AlexNet)을 사용한 전이학습을 평가한다. 결과적으로 사전 훈련된 모델을 미세조정하는 방식이 초기화 무작위로 훈련하는 것보다 유의하게 높은 정확도(당뇨성 망막병증 분류 시 최대 94.5%)를 달성하며, 저자료 의료 영상 환경에서 전이학습의 실현 가능성과 우수성을 입증한다.

ABSTRACT

Deep learning has been successfully applied to a variety of image classification tasks. There has been keen interest to apply deep learning in the medical domain, particularly specialties that heavily utilize imaging, such as ophthalmology. One issue that may hinder application of deep learning to the medical domain is the vast amount of data necessary to train deep neural networks (DNNs). Because of regulatory and privacy issues associated with medicine, and the generally proprietary nature of data in medical domains, obtaining large datasets to train DNNs is a challenge, particularly in the ophthalmology domain. Transfer learning is a technique developed to address the issue of applying DNNs for domains with limited data. Prior reports on transfer learning have examined custom networks to fully train or used a particular DNN for transfer learning. However, to the best of my knowledge, no work has systematically examined a suite of DNNs for transfer learning for classification of diabetic retinopathy, diabetic macular edema, and two key features of age-related macular degeneration. This work attempts to investigate transfer learning for classification of these ophthalmic conditions. Part I gives a condensed overview of neural networks and the DNNs under evaluation. Part II gives the reader the necessary background concerning diabetic retinopathy and prior work on classification using retinal fundus photographs. The methodology and results of transfer learning for diabetic retinopathy classification are presented, showing that transfer learning towards this domain is feasible, with promising accuracy. Part III gives an overview of diabetic macular edema, choroidal neovascularization and drusen (features associated with age-related macular degeneration), and presents results for transfer learning evaluation using optical coherence tomography to classify these entities.

연구 동기 및 목표

• 안과 영상 분류에서 다양한 사전 훈련된 깊은 신경망을 체계적으로 평가하기 위한 전이학습의 적용을 목적으로 한다.
• 저자료 의료 영상 환경에서 전이학습과 초기화 무작위 훈련의 성능을 평가하기 위한 목적으로 한다.
• 망막 후면도 및 OCT 영상에서 전이학습 전략 두 가지(고정된 특징 추출 및 미세조정)를 비교하기 위한 목적으로 한다.
• 다양한 딥러닝 아키텍처를 사용하여 당뇨성 망막병증(DR), 당뇨성 망막병변(DME), 망막하 신생혈관화(CNV), 단백질 침착을 분류한 정확도를 평가하기 위한 목적으로 한다.
• 사전 훈련된 모델과 비사전 훈련된 모델 간 성능 차이의 통계적 유의성을 실증적으로 입증하기 위한 목적으로 한다.

제안 방법

• ImageNet에서 사전 훈련된 5개의 깊은 신경망을 사용: ResNet-18, DenseNet-161, Inception_v3, VGG-19, AlexNet.
• 두 가지 다른 의료 영상 과제에 전이학습를 적용: (1) 캐글 데이터셋에서 망막 후면도 사진을 이용한 당뇨성 망막병증 분류, (2) OCT 스캔에서 DME, CNV, 단백질 침착 분류.
• 전이학습 전략 두 가지를 평가: (a) 사전 훈련된 네트워크를 고정된 특징 추출기로 사용하고, (b) 네트워크의 최종 레이어를 미세조정.
• 망막 후면도 영상에 대해 50 에포크, OCT 영상에 대해 25 에포크 동안 훈련하였으며, 표준 교차 엔트로피 손실과 Adam 최적화를 사용하였다.
• 모델 성능을 비교하기 위해 윌코크슨 부호순위 검정 및 맨-유퍼 U 검정을 수행하였다.
• 모든 모델에 대해 혼동 행렬을 포함하여 정확도, 민감도, 특이도, 2차 가중 카파를 보고하였다.

실험 결과

연구 질문

• RQ1 사전 훈련된 모델을 사용한 전이학습이 망막 후면도 사진에 대해 당뇨성 망막병증 분류 정확도를 초기화 무작위 훈련보다 유의하게 향상시키는가?
• RQ2 전이학습을 사용할 때 당뇨성 망막병증 분류에 가장 우수한 성능을 보이는 사전 훈련된 깊은 신경망 아키텍처는 무엇인가?
• RQ3 안과 영상 분류에서 전이학습 시 미세조정이 고정된 특징 추출보다 일관되게 우수한가?
• RQ4 다양한 안과 질환(DME, CNV, 단백질 침착)에 대해 OCT 영상에서 특징 추출과 미세조정 전략의 성능은 어떻게 다른가?
• RQ5 사전 훈련된 모델과 비사전 훈련된 모델 간 성능 차이가 통계적으로 유의한가?

주요 결과

• 사전 훈련된 모델을 미세조정한 결과, 망막 후면도 영상에서 당뇨성 망막병증 분류의 최대 테스트 정확도가 94.5%에 도달하였으며, 초기화 무작위 훈련보다 뚜렷이 높았다.
• ResNet-18과 DenseNet-161 아키텍처가 모든 평가된 모델 중에서 당뇨성 망막병증 분류에서 가장 높은 성능을 보였으며, 미세조정 시 정확도가 90%를 초과하였다.
• 통계적 검정 결과, 사전 훈련된 모델을 사용한 미세조정이 비사전 훈련된 모델보다 유의하게 낮은 손실과 높은 정확도를 기록하였으며, 대부분의 비교에서 p < 0.05로 유의미하였다.
• OCT 기반 분류에서는 DenseNet-161과 Inception_v3가 뛰어난 성능을 보였으며, 혼동 행렬을 통해 DME 및 CNV 검출에 높은 민감도와 특이도를 나타내었다.
• 사전 훈련된 모델을 고정된 특징 추출기로 사용한 경우에도 망막 후면도 및 OCT 과제에서 모두 85% 이상의 높은 정확도를 달성하였지만, 미세조정보다 일관되게 낮았다.
• 사전 훈련된 모델과 비사전 훈련된 모델 간 뚜렷한 성능 격차가 관찰되었으며, 여러 비교에서 p-값이 0.001 이하였고, 이는 전이학습의 이점이 통계적으로 유의하다는 것을 확인시켰다.