[논문 리뷰] DRDrV3: Complete Lesion Detection in Fundus Images Using Mask R-CNN, Transfer Learning, and LSTM

Farzan Shenavarmasouleh, Farid Ghareh Mohammadi외 4명|arXiv (Cornell University)|2021. 08. 18.

Retinal Imaging and Analysis참고 문헌 20인용 수 9

한 줄 요약

이 논문은 망막 사진에서 당뇨성 망막병증 병변을 완전히 탐지하기 위해 마스크 R-CNN, 전이 학습, 그리고 LSTM을 통합한 통합된 딥러닝 프레임워크인 DRDrV3을 제안한다. 이 프레임워크는 동시에 병변 마스크, 경계 상자, 병변 유형(침착물, 미세aneurysm), 전체 질환의 중증도를 탐지하며, 중증도 분류에서 93.47%의 정확도를 기록하여 이전 방법보다 뛰어나며, IOU=35일 때 mAP 0.4562를 달성한다.

ABSTRACT

Medical Imaging is one of the growing fields in the world of computer vision. In this study, we aim to address the Diabetic Retinopathy (DR) problem as one of the open challenges in medical imaging. In this research, we propose a new lesion detection architecture, comprising of two sub-modules, which is an optimal solution to detect and find not only the type of lesions caused by DR, their corresponding bounding boxes, and their masks; but also the severity level of the overall case. Aside from traditional accuracy, we also use two popular evaluation criteria to evaluate the outputs of our models, which are intersection over union (IOU) and mean average precision (mAP). We hypothesize that this new solution enables specialists to detect lesions with high confidence and estimate the severity of the damage with high accuracy.

연구 동기 및 목표

• 망막 사진에서 병변 마스크, 경계 상자, 병변 유형, 전체 질환 중증도를 동시에 탐지할 수 있는 단일 모델을 개발하는 것.
• 향상된 특징 학습과 분류를 위해 LSTM과 전이 학습을 통합함으로써 이전의 DRDr 및 DRDrII 모델을 개선하는 것.
• 다양한 조명, 줌, 해상도를 가진 이질적인 망막 이미지에 대응하기 위해 강력한 특징 추출과 전이 학습을 통해 문제를 해결하는 것.
• IOU, mAP, 정확도를 사용하여 성능을 평가함으로써 임상적 유의성과 재현 가능성을 확보하는 것.
• 진단 부담을 줄이고 환자 결과를 향상시키기 위해 당뇨성 망막병증의 조기 자동 탐지를 가능하게 하는 것.

제안 방법

• 프레임워크는 이중 단계 접근법을 사용한다: 제1단계에서는 e-ophtha 및 Kaggle 데이터셋을 사용하여 전이 학습을 적용한 마스크 R-CNN을 적용하여 병변 마스크와 경계 상자를 탐지한다.
• 전이 학습은 사전 학습된 ImageNet 가중치를 사용하여 백본 네트워크(ResNet)를 망막 이미지 특성에 맞게 조정함으로써 자원이 제한된 환경에서의 특징 추출을 향상시킨다.
• 제2단계에서는 병변에서 추출한 특징을 처리하여 총 세 가지 클래스인 건강(0), 중등도(1), 중증도(2)의 전체 질환 중증도를 예측하는 LSTM 기반 분류기를 사용한다.
• 모델은 병변 수준의 예측(유형, 위치, 마스크)과 LSTM을 통한 전반적인 중증도 추정을 통합하여 엔드 투 엔드의 인스턴스 및 중증도 세그멘테이션을 가능하게 한다.
• 평가에는 IOU 임계값 35, 50, 75에서의 mAP, 마스크-경계 상자 겹침율(IOU), 중증도 분류 정확도를 사용한다.
• 시스템은 두 데이터셋에서 훈련 및 검증되었으며, e-ophtha(수작업 마스킹)와 대규모 공개 Kaggle 데이터셋(35,000장의 이미지 및 중증도 레이블 포함)을 사용한다.

실험 결과

연구 질문

• RQ1 통합된 딥러닝 모델이 망막 사진에서 병변 마스크, 경계 상자, 병변 유형, 전체 질환 중증도를 동시에 탐지할 수 있는가?
• RQ2 마스크 R-CNN과 전이 학습에 LSTM을 통합함으로써 이전 모델 대비 중증도 분류 정확도는 어떻게 향상되는가?
• RQ3 전이 학습이 망막 영상에서의 영상 이질성으로 인한 성능 저하를 어느 정도 완화하는가?
• RQ4 제2단계의 중증도 예측에 병변 마스크와 경계 상자를 입력 특징으로 포함할 경우 어떤 영향을 미치는가?
• RQ5 mAP, IOU, 정확도 지표가 자동 DR 스크리닝에서 임상 진단 유용성과 어떻게 관련되는가?

주요 결과

• IOU 임계값 35일 때 테스트 mAP가 0.4562로 나타나 병변 경계 상자 및 마스크 탐지 성능이 뛰어나다는 것을 보여준다.
• 병변 유형, 경계 상자, 마스크를 입력 특징으로 사용할 경우 제2단계 중증도 분류가 93.47%의 정확도를 기록하여 다른 구성보다 뛰어나다.
• 가장 우수한 성능를 보인 테스트 옵션의 혼동 행렬은 클래스 0(건강)에 2880개의 참 양성, 클래스 1(중등도)에 771개, 클래스 2(중증도)에 87개를 기록하여 높은 특이도와 민감도를 보였다.
• IOU=50일 때 mAP는 0.4370, IOU=75일 때는 0.2071로 나타나 엄격한 겹침 임계값에서도 강건함을 입증했다.
• LSTM을 마스크 R-CNN과 전이 학습과 통합함으로써 이전의 DRDrII 모델 대비 중증도 분류 정확도가 향상되었다.
• 대규모 Kaggle 데이터셋(35,000장의 이미지)을 사용함으로써 과적합을 방지하고 다양한 망막 이미지 조건에서 결과의 재현 가능성을 확보했다.