[논문 리뷰] Weakly-supervised localization of diabetic retinopathy lesions in retinal fundus images

Waleed M. Gondal, Jan M. Köhler외 3명|arXiv (Cornell University)|2017. 06. 29.

Retinal Imaging and Analysis참고 문헌 28인용 수 9

한 줄 요약

이 논문은 이미지 수준 레이블만을 사용하여 망막 도자판 영상에서 당뇨성 망막병증 병변을 약한 감독 기반으로 국소화하는 딥 러닝 방법을 제안한다. 최고 성능을 내는 CNN 아키텍처를 전역 평균 풀링과 클래스 활성화 맵핑으로 변형함으로써, 모델은 높은 민감도(출혈에 대해 97.2%)와 낮은 위양성(1.5–2.25 FPs/이미지)을 달성하여, 병변 수준 검출에서 완전히 감독된 방법을 능가하면서도 이미지 수준 분류의 AUC는 0.954를 유지한다.

ABSTRACT

Convolutional neural networks (CNNs) show impressive performance for image classification and detection, extending heavily to the medical image domain. Nevertheless, medical experts are sceptical in these predictions as the nonlinear multilayer structure resulting in a classification outcome is not directly graspable. Recently, approaches have been shown which help the user to understand the discriminative regions within an image which are decisive for the CNN to conclude to a certain class. Although these approaches could help to build trust in the CNNs predictions, they are only slightly shown to work with medical image data which often poses a challenge as the decision for a class relies on different lesion areas scattered around the entire image. Using the DiaretDB1 dataset, we show that on retina images different lesion areas fundamental for diabetic retinopathy are detected on an image level with high accuracy, comparable or exceeding supervised methods. On lesion level, we achieve few false positives with high sensitivity, though, the network is solely trained on image-level labels which do not include information about existing lesions. Classifying between diseased and healthy images, we achieve an AUC of 0.954 on the DiaretDB1.

연구 동기 및 목표

• 병변 수준의 애너테이션을 필요로 하지 않고 망막 도자판 영상에서 당뇨성 망막병증 병변을 국소화할 수 있는 약한 감독 기반 방법을 개발하는 것.
• 분류 결정에 기여하는 차별적 영역을 강조함으로써 의료 영상에서 딥 러닝 모델의 해석 가능성을 향상시키는 것.
• 병변 수준의 애너테이션 없이도 완전히 감독된 방법과 비교할 만한 높은 성능의 병변 검출을 달성하는 것.
• 표준 CNN으로서는 국소화가 어려운 산산이 흩어져 있고 작은 병변 영역(예: 미세동맥류, 출혈)을 다루는 도전 과제를 해결하는 것.

제안 방법

• 당뇨성 망막병증 분류를 위한 최신 감독 기반 CNN 아키텍처를 약한 감독 기반 객체 국소화에 적합하도록 변형한다.
• 최종 합성곱 층과 소프트맥스 분류 출력 사이의 선형 관계를 확립하기 위해 전역 평균 풀링(GAP)을 사용한다.
• 예측된 클래스에 기여하는 차별적 영역을 강조하기 위해 클래스 활성화 맵핑(CAM)을 적용한다.
• 경계 상자나 픽셀 수준 애너테이션 없이 이미지 수준 레이블(예: '질병 있음' 또는 '건강함')만을 사용하여 네트워크를 훈련시킨다.
• 단일 프로퍼게이션을 통해 국소화 맵을 생성함으로써 빠른 추론과 해석 가능성을 확보한다.
• 병변 수준 검출 성능 평가를 위해 오버랩 기반 평가(50% 및 1픽셀 임계값)를 사용한다.

실험 결과

연구 질문

• RQ1 이미지 수준 레이블만을 사용하여 약한 감독 기반 딥 러닝 모델이 망막 도자판 영상에서 당뇨성 망막병증 병변을 국소화할 수 있는가?
• RQ2 산산이 흩어져 있고 작은 병변을 검출할 때, 약한 감독 기반 국소화의 성능이 완전히 감독된 방법과 비교해 어떻게 되는가?
• RQ3 예측된 활성화 맵이 임상적으로 관련 있는 병변 영역과 어느 정도 일치하는가?
• RQ4 명시적인 국소화 애너테이션 없이도 높은 분류 정확도를 유지하면서 정밀한 병변 국소화를 달성할 수 있는가?

주요 결과

• DiaretDB1 데이터셋에서 당뇨성 망막병증의 이미지 수준 분류에 대해 AUC 0.954를 달성한다.
• 출혈 검출에 대해 50% 오버랩 기준에서 민감도 97.2%를 기록하며, 이미지당 위양성은 2.25개에 그친다.
• 1픽셀 오버랩 임계값을 사용할 경우, 출혈에 대해 민감도는 91%로 상승하고 하드 엑스드레이트에 대해선 87%를 기록하며, 이미지당 위양성은 1.5개를 유지한다.
• 이전의 약한 감독 기반 접근법 대비 위양성 수를 줄이는 데 성공하여, 연약한 엑스드레이트에 대해선 1.45 FPs/이미지의 성능을 달성했고, Quellec 등 [25]의 10개 대비 유의미한 향상이다.
• 빨간색 작은 점(RSD) 검출에 대해서는 1픽셀 오버랩 기준에서 민감도가 52%에 그쳐, 그들의 피xls 크기와 해상도가 낮은 열화된 히트맵으로 인해 성능이 제한된다.
• 병변 수준의 감독 없이도 국소화 맵이 임상적으로 관련 있는 병변 영역과 강하게 상관관계를 보이며, 강력한 해석 가능성을 입증한다.