[논문 리뷰] Zoom-in-Net: Deep Mining Lesions for Diabetic Retinopathy Detection

Zhe Wang, Yanxin Yin외 4명|arXiv (Cornell University)|2017. 06. 14.

Retinal Imaging and Analysis참고 문헌 20인용 수 11

한 줄 요약

Zoom-in-Net는 환자 수준의 레이블만을 사용하여 당뇨성 망막병증을 진단하기 위해 임상의의 줌 인 행동을 모방하는 약한 감독 기반 딥러닝 프레임워크이다. 이는 병변 국소화를 위한 주의 맵을 생성하고, 전체 이미지와 고해상도 의심 영역 패치를 동시에 분석함으로써 분류 성능을 향상시키며, EyePACS 및 Messidor 데이터셋에서 각각 0.857 AUC와 0.957 AUC의 최신 기술 수준 성능을 달성한다.

ABSTRACT

We propose a convolution neural network based algorithm for simultaneously diagnosing diabetic retinopathy and highlighting suspicious regions. Our contributions are two folds: 1) a network termed Zoom-in-Net which mimics the zoom-in process of a clinician to examine the retinal images. Trained with only image-level supervisions, Zoomin-Net can generate attention maps which highlight suspicious regions, and predicts the disease level accurately based on both the whole image and its high resolution suspicious patches. 2) Only four bounding boxes generated from the automatically learned attention maps are enough to cover 80% of the lesions labeled by an experienced ophthalmologist, which shows good localization ability of the attention maps. By clustering features at high response locations on the attention maps, we discover meaningful clusters which contain potential lesions in diabetic retinopathy. Experiments show that our algorithm outperform the state-of-the-art methods on two datasets, EyePACS and Messidor.

연구 동기 및 목표

• 병변 수준의 레이블이 필요 없이 당뇨성 망막병증 병변의 동시 분류 및 국소화를 가능하게 하는 약한 감독 기반 딥러닝 프레임워크를 개발하는 것.
• 의료 현장에서 의심 영역를 스캔하고 줌 인하는 워크플로우를 모방하기 위해, 고주의의 영역을 식별하고 이를 고해상도로 처리하는 네트워크를 설계하는 것.
• 임상적으로 레이블링된 병변에 대한 커버리지와 비교하여 주의 맵의 국소화 능력을 검증하는 것.
• 주의 맵에서 추출한 고해상도 패치의 예측을 융합하여 분류 성능을 향상시키는 것.
• 주의 맵의 고반응 위치에서의 특징을 분석하여 의미 있는 병변 클러스터를 발견하는 것.

제안 방법

• Zoom-in-Net는 세 개의 하위 네트워크로 구성된다: M-Net(전체 이미지 분류용), A-Net(특징 맵에서 게이트형 주의 맵 생성용), C-Net(주의 맵에서 추출한 고해상도 패치 분류용).
• A-Net은 이중 브랜치 아키텍처를 사용한다: 한 브랜치는 클래스 활성화 맵을 생성하기 위해 전역 평균 풀링을 적용하고, 다른 브랜치는 학습 가능한 시그모이드 함수를 사용하여 주의 맵을 정밀화하는 공간 게이트를 학습한다.
• 네트워크는 종합 손실을 통해 엔드 투 엔드로 훈련되며, M-Net과 C-Net에 대한 교차 엔트로피 손실와, 예측된 주의 맵과 진정 병변 영역 간의 겹침을 기반으로 한 국소화 손실을 포함한다.
• 원본 1230×1230 이미지에서 주의도가 가장 높은 4개 영역(각각 200×200 크기)을 선택하여 고해상도 패치(384×384)를 자르고, C-Net에 입력하여 국소화 분류를 수행한다.
• 최종 예측은 M-Net과 C-Net 출력의 가중 융합이며, 주의 맵은 패치 선택을 안내하고 모델의 해석 가능성을 향상시킨다.
• 주의 맵의 고활성 영역에서 추출한 특징을 클러스터링하여 의미 있는 병변 유사 패턴을 발견하였으며, 이는 모델이 생물학적으로 관련성이 있는 구조를 학습하고 있음을 보여준다.

실험 결과

연구 질문

• RQ1 이미지 수준의 레이블만을 사용해 훈련된 딥러닝 모델이 당도성 망막 영상에서 의심 영역을 높은 재현율과 정확도로 국소화할 수 있는가?
• RQ2 주의 지도 영역에서 추출한 고해상도 패치의 통합은 전역 이미지 분석을 넘어서 당뇨성 망막병증 분류 성능을 향상시키는가?
• RQ3 모델이 생성한 주의 맵이 임상적으로 레이블링된 병변과 어느 정도 일치하는가?
• RQ4 고주의 영역에서의 특징을 클러스터링하면 당뇨성 망막병증에서 생물학적으로 의미 있는 병변 패턴을 발견할 수 있는가?
• RQ5 제안된 Zoom-in-Net 프레임워크는 진단 성능 및 국소화 능력 측면에서 최신 기술 수준의 방법들과 비교해 어떻게 성과를 내는가?

주요 결과

• Zoom-in-Net는 EyePACS 데이터셋의 검증 세트에서 AUC 0.857, 테스트 세트에서 AUC 0.849를 기록하였으며, 단일 모델로도 Min-pooling(0.86/0.849)을 포함한 최신 기술 수준의 방법들을 능가하였다.
• 모델 앙상블를 적용한 결과, 검증 세트에서 AUC 0.865, 테스트 세트에서 AUC 0.854를 달성하여 캐글 DR 경쟁의 우수 상위 참가자 성능과 동일한 성능을 보였다.
• Messidor 데이터셋에서 Zoom-in-Net는 참조 가능한 대비 비참조 가능한 분류에 대해 AUC 0.957, 정상 대 비정상 분류에 대해 AUC 0.921을 기록하였으며, 이는 이전의 모든 방법들을 뛰어넘었고, 일부 경우 전문가 수준의 성능을 초월하기도 하였다.
• 의견이 높은 망막 전문의가 레이블링한 병변의 80%를 단지 네 개의 경계 상자로 국소화하여 재현율 0.82를 달성하였으며, 이는 강력한 국소화 능력을 입증한다.
• 주의 맵의 고반응 위치에서 특징을 클러스터링하면 의미 있는 병변 유사 패턴이 발견되었으며, 이는 모델이 생물학적으로 관련성이 있는 구조를 학습하고 있음을 시사한다.
• 모델의 성능은 일반 의료진과 유사했으며, 특히 낮은 특이도 임계값(예: 참조 가능한 DR에 대해 특이도 0.5일 때 민감도 0.978)에서 일부 전문가 수준의 기준을 뛰어넘는 성능를 보였다.