[논문 리뷰] On the Robustness of Pretraining and Self-Supervision for a Deep Learning-based Analysis of Diabetic Retinopathy

Vignesh Srinivasan, Nils Strodthoff외 4명|arXiv (Cornell University)|2021. 06. 25.

Retinal Imaging and Analysis인용 수 6

한 줄 요약

이 연구는 IDRiD 데이터셋을 사용하여 당뇨성 망막병증 분류를 위한 사전 훈련 및 자기지도 학습의 강건성 평가를 수행한다. 이미지넷에서 사전 훈련한 모델과 대비 학습을 통해 미세조정한 모델이 정확도, 일반화 능력, 이미지 왜곡에 대한 강건성, 해석 가능성 측면에서 지도 학습 기반 모델을 능가함을 보여주며, 특히 소규모 병변인 미세동맥류를 탐지하는 데서 효과적이고 큰 병변에 대한 과적합을 줄인다.

ABSTRACT

There is an increasing number of medical use-cases where classification algorithms based on deep neural networks reach performance levels that are competitive with human medical experts. To alleviate the challenges of small dataset sizes, these systems often rely on pretraining. In this work, we aim to assess the broader implications of these approaches. For diabetic retinopathy grading as exemplary use case, we compare the impact of different training procedures including recently established self-supervised pretraining methods based on contrastive learning. To this end, we investigate different aspects such as quantitative performance, statistics of the learned feature representations, interpretability and robustness to image distortions. Our results indicate that models initialized from ImageNet pretraining report a significant increase in performance, generalization and robustness to image distortions. In particular, self-supervised models show further benefits to supervised models. Self-supervised models with initialization from ImageNet pretraining not only report higher performance, they also reduce overfitting to large lesions along with improvements in taking into account minute lesions indicative of the progression of the disease. Understanding the effects of pretraining in a broader sense that goes beyond simple performance comparisons is of crucial importance for the broader medical imaging community beyond the use-case considered in this work.

연구 동기 및 목표

• 의료 영상에서 단순 성능 지표를 넘어서 사전 훈련과 자기지도 학습의 광범위한 함의를 평가하는 것.
• 당뇨성 망막병증 분류에 있어 지도 학습, 자기지도 대비 학습, 다양한 가중치 초기화 전략(이미지넷 vs. 랜덤)을 비교하는 것.
• 다양한 훈련 방법에 따른 특징 표현의 왜곡에 대한 강건성과 통계적 변동성에 대한 연구.
• 병변 특이적 할당 맵(RMA, RRA)을 통해 모델의 해석 가능성 평가를 통해 모델이 어떤 병리학적 특징에 의존하는지 이해하는 것.
• 자기지도 사전 훈련이 미세한 초기 병변인 미세동맥류의 탐지 능력을 향상시키고 경직된 병변(예: 딱딱한 출현물)에 대한 과적합을 줄이는지 확인하는 것.

제안 방법

• 4가지 훈련 전략을 사용한 미세조정된 ResNet-50 모델: 이미지넷 사전 훈련을 사용한 지도 학습(IFI), 랜덤 초기화를 사용한 지도 학습(IWNE), 이미지넷 사전 훈련을 사용한 자기지도 대비 학습(IFI-CL), 랜덤 초기화를 사용한 자기지도 대비 학습(IWNE-CL).
• 라벨 없이 일반화 가능한 표현을 학습하기 위해 인스턴스 식별 및 회전 예측을 선행 작업으로 사용하는 MoCo v2 기반의 대비 학습을 적용.
• IDRiD 데이터셋을 사용해 당뇨성 망막병증 분류에 대한 표준 지표인 정확도, AUC, F1 점수를 사용해 모델 성능 평가.
• 다양한 훈련 방법에 대해 특징 공분산 행렬의 고유값 통계를 분석하여 특징 표현의 강건성 평가.
• 기울기 기반의 시각화 맵(Grad-CAM)을 사용해 미세동맥류, 출혈, 딱딱한 출현물, 총 병변에 대한 병변 특이적 할당 점수(RMA, RRA) 계산.
• 할당 맵을 진단 기준 병변 맵과 비교해 모델이 임상적으로 유의미한 특징에 얼마나 잘 집중하는지 정량화.

실험 결과

연구 질문

• RQ1 이미지넷 사전 훈련이 당뇨성 망막병증 분류에서 모델 성능, 일반화 능력, 이미지 왜곡에 대한 강건성에 어떤 영향을 미치는가?
• RQ2 자기지도 대비 학습 방법이 지도 미세조정 대비 얼마나 높은 성능과 특징 표현 통계를 제공하는가?
• RQ3 다른 훈련 전략(지도 대비 자기지도, 이미지넷 사전 훈련 유무)이 임상적으로 중요한 병변(특히 미세동맥류 및 출혈)에 대한 모델의 주의 집중에 어떤 영향을 미치는가?
• RQ4 자기지도 모델이 지도 모델에 비해 딱딱한 출현물과 같은 큰 병변에 과적합하는 정도가 줄어드는가?
• RQ5 학습된 특징 표현의 통계적 성질(고유값 분포)은 이미지 왜곡에 대한 강건성과 어떻게 관련되어 있는가?

주요 결과

• 이미지넷 사전 훈련을 사용한 모델(IFI)은 랜덤 초기화 모델(IWNE)에 비해 성능, 일반화 능력, 이미지 왜곡에 대한 강건성이 뚜렷이 향상됨.
• 자기지도 대비 학습(CL)이 모든 지표에서 지도 미세조정(FS)을 능가했으며, IFI-CL 모델이 IDRiD 데이터셋에서 가장 높은 AUC와 F1 점수 기록.
• IFI-CL 모델은 뛰어난 해석 가능성 보여주며, RMA 및 RRA 점수에서 진단 기준 병변 맵과의 일치도가 특히 미세동맥류 및 출혈에 대해 높음.
• 지도 모델(특히 IWNE-FS)은 딱딱한 출현물과 같은 큰 병변에 과적합되며, 이들 특징에 대해 높은 RMA 및 RRA 점수를 보였지만, 소규모 임상적 병변에서는 성능이 열 劣함.
• 고유값 분석 결과, IFI-CL 모델은 더 안정적이고 강건한 특징 표현을 학습했으며, 평탄한 고유값 스펙트럼이 일반화 능력 향상과 관련됨.
• 총 병변 탐지에서 IFI-CL은 모든 다른 방법보다 RRA에서 뛰어난 성능 보이며, 자기지도 모델이 지도 모델보다 다양한 병변 유형을 더 효과적으로 통합함을 시사함.