[논문 리뷰] Lesion-based Contrastive Learning for Diabetic Retinopathy Grading from Fundus Images

Yijin Huang, Li Lin외 3명|arXiv (Cornell University)|2021. 07. 17.

Retinal Imaging and Analysis참고 문헌 20인용 수 4

한 줄 요약

이 논문은 당뇨성 망막병증(DR) 등급 분류를 위한 병변 기반 대비 학습(LCL)을 제안하며, 전면 망막 영상 대신 병변 패치를 사용하여 특징의 구분 능력을 향상시킨다. 병변 영역에 집중하고 데이터 증강을 최적화함으로써, EyePACS에서 최신 기술 수준의 성능을 달성하며, 선형 평가에서 SimCLR보다 23.34% 높은 성능을 기록하고, 제한된 레이블 데이터에서 뛰어난 전이 능력을 보여준다.

ABSTRACT

Manually annotating medical images is extremely expensive, especially for large-scale datasets. Self-supervised contrastive learning has been explored to learn feature representations from unlabeled images. However, unlike natural images, the application of contrastive learning to medical images is relatively limited. In this work, we propose a self-supervised framework, namely lesion-based contrastive learning for automated diabetic retinopathy (DR) grading. Instead of taking entire images as the input in the common contrastive learning scheme, lesion patches are employed to encourage the feature extractor to learn representations that are highly discriminative for DR grading. We also investigate different data augmentation operations in defining our contrastive prediction task. Extensive experiments are conducted on the publicly-accessible dataset EyePACS, demonstrating that our proposed framework performs outstandingly on DR grading in terms of both linear evaluation and transfer capacity evaluation.

연구 동기 및 목표

• 의료 영상에서 높은 표기 비용 문제를 해결하기 위해 당뇨성 망막병증 등급 분류를 위한 자기지도 학습 프레임워크를 개발하는 것.
• 고해상도 망막 영상에서 표준 대비 학습의 한계를 극복하기 위해, 진단적 특징(병변)이 희박하고 데이터 증강 과정에서 쉽게 손실되는 문제를 해결하는 것.
• 전체 망막 영상 대신 병변 패치에 집중하여 특징 표현 학습을 향상시키고, DR 등급 분류의 구분 능력을 높이는 것.
• 다양한 데이터 증강 전략이 망막 영상에 대한 대비 학습에 미치는 영향을 조사하는 것.
• EyePACS와 같은 대규모 실세계 데이터셋에서 제안된 방법의 성능을 평가하여, 뛰어난 전이 능력과 선형 평가 성능을 입증하는 것.

제안 방법

• 이중 단계 프레임워크를 사용한다: 먼저, 병변을 망막 영상에서 국소화하기 위해 IDRiD 데이터셋에서 객체 검출 네트워크를 훈련시킨다.
• 훈련된 검출기와 신뢰도 임계값(0.7, 0.8, 또는 0.9)을 사용하여 EyePACS 데이터셋에서 병변 패치를 추출한다.
• 데이터 증강 작업—자르기, 회전, 색상 왜곡, Grayscale 변환—을 병변 패치에 적용하여 대비 학습을 위한 양성 시각을 생성한다.
• 동일한 병변 패치의 증강 시각 간 특징 임베딩 유사도를 최대화하고, 다른 패치 간 유사도를 최소화하기 위해 대비 손실를 최소화한다.
• 특징 추출기는 이러한 병변 패치에서 자기지도 학습 방식으로 사전 훈련된 후, 후속 DR 등급 분류 작업에서 미세조정된다.
• 부분적 및 전체 EyePACS 데이터셋에서 선형 평가 및 전이 능력 평가를 통해 성능을 평가한다.

실험 결과

연구 질문

• RQ1 전체 망막 영상 대신 병변 패치에 집중함으로써, 당뇨성 망막병증 등급 분류를 위한 자기지도 표현 학습 성능을 향상시킬 수 있는가?
• RQ2 희박한 진단적 특징을 가진 망막 영상에 대한 대비 학습에서 가장 효과적인 데이터 증강 조합은 무엇인가?
• RQ3 병변 기반 대비 학습은 표준 대비 학습(SimCLR 등)과 비교해 선형 평가 및 전이 학습 성능에서 어떻게 다른가?
• RQ4 병변 패치의 품질(신뢰도 임계값을 통한 필터링)이 자기지도 모델의 후속 성능에 영향을 미치는가?
• RQ5 제한된 레이블 데이터에서 제안된 방법이 강력한 성능을 달성할 수 있으며, 전이 능력 향상이 입증되는가?

주요 결과

• 병변 기반 대비 학습은 전체 EyePACS 데이터셋을 사용한 선형 평가에서 66.88%의 2차 가중 카파를 기록하며, SimCLR(128×128)보다 23.34%포인트 높은 성능을 보였다.
• 학습 데이터의 1%만을 사용할 때, 전이 능력 평가에서 카파가 68.37로 나타나, 완전히 지도 학습 기반선보다 15.01%포인트 높았다.
• 더 높은 검출 신뢰도 임계값(0.9)을 사용함으로써, 더 적은 훈련 패치 수에도 불구하고 성능 향상을 보였으며, 이는 패치 품질이 양보다 더 중요함을 시사한다.
• 자르기, 회전, 색상 왜곡, Grayscale 변환의 조합이 추론 실험에서 가장 높은 성능(kappa = 62.49)을 기록했다.
• 특히 저자료 환경에서 뛰어난 전이 능력을 보이며, 소수의 샘플만으로도 DR 등급 분류에 효과적임을 확인했다.
• 소스 코드는 공개적으로 제공되며, https://github.com/YijinHuang/Lesion-based-Contrastive-Learning 에서 확인할 수 있다.