[논문 리뷰] Modeling and Enhancing Low-quality Retinal Fundus Images

Ziyi Shen, Huazhu Fu외 2명|arXiv (Cornell University)|2020. 05. 12.

Retinal Imaging and Analysis참고 문헌 52인용 수 9

한 줄 요약

이 논문은 망막 산모도 영상의 품질을 햖스키기 위해 안과 내시경 특유의 열화 요인(예: 불균일한 조도, 흐림, 잡음 등)을 모델링하는 임상 중심의 딥러닝 프레임워크인 cofe-Net을 제안한다. 이 방법은 새로운 열화 모델과 이중 모듈(RSA 및 LQA)을 사용하여 저품질 인자들을 억제하고 진단 정확도를 향상시키며, 혈관 분할 및 시신경두/시신경구 감지 성능을 최대 10% 향상시킨다.

ABSTRACT

Retinal fundus images are widely used for the clinical screening and diagnosis of eye diseases. However, fundus images captured by operators with various levels of experience have a large variation in quality. Low-quality fundus images increase uncertainty in clinical observation and lead to the risk of misdiagnosis. However, due to the special optical beam of fundus imaging and structure of the retina, natural image enhancement methods cannot be utilized directly to address this. In this paper, we first analyze the ophthalmoscope imaging system and simulate a reliable degradation of major inferior-quality factors, including uneven illumination, image blurring, and artifacts. Then, based on the degradation model, a clinically oriented fundus enhancement network (cofe-Net) is proposed to suppress global degradation factors, while simultaneously preserving anatomical retinal structures and pathological characteristics for clinical observation and analysis. Experiments on both synthetic and real images demonstrate that our algorithm effectively corrects low-quality fundus images without losing retinal details. Moreover, we also show that the fundus correction method can benefit medical image analysis applications, e.g., retinal vessel segmentation and optic disc/cup detection.

연구 동기 및 목표

• 다양한 운영자 기술, 장비 및 환경 조건으로 인해 발생하는 저품질 망막 산모도 영상 문제를 해결함으로써 임상 진단 및 자동 분석을 방해하는 요인을 제거한다.
• 망막 산모도 영상에 특화된 안과 내시경 영상의 고유한 광학적 열화 요인(예: 불균일한 조도, 흐림, 잡음 등)을 모델링한다.
• 수술적 해부학적 구조(예: 혈관, 시신경두/시신경구)와 병적 특징(예: 미세aneurysms, 출혈)을 보존하면서 보정하는 임상 중심의 영상 향상 네트워크를 개발한다.
• 실제 및 합성 열화 영상에서 영상 향상이 혈관 분할 및 시신경두/시신경구 감지와 같은 후속 임상 작업의 성능을 향상시킨다는 것을 입증한다.

제안 방법

• 빛 전달 방해, 이미지 흐림, 망막 잡음 등 안과 내시경 영상 단계를 시뮬레이션하는 물리 기반의 열화 모델을 설계한다.
• 새로운 두 가지 모듈(망막 해부학적 구조 활성화(RSA) 및 임상적 저품질 활성화(LQA))를 갖춘 딥 네ural 네트워크인 cofe-Net을 제안한다.
• 인간 시각 인지 기반의 손실 함수를 통합하여 잡음 억제 및 구조 무결성을 강조함으로써 향상된 영상의 시각적 및 정량적 품질을 향상시킨다.
• 열화 모델에서 생성된 쌍체 합성 영상을 사용하여 보정 맵핑의 엔드 투 엔드 학습을 가능하게 한다.
• 보편적 인식 및 구조적 메트릭(예: F-score, Jaccard 점수)을 사용하여 훈련 중 임상적으로 중요한 특징의 보존을 우선시한다.
• 실제 망막 영상과 벤치마크 데이터셋(DRIVE, REFUGE)에서 방법을 검증하여 실제 열화 패턴에 대한 강건성을 입증한다.

실험 결과

연구 질문

• RQ1 어떻게 안과 내시경 특유의 열화 요인(예: 불균일한 조도, 흐림, 잡음 등)을 망막 산모도 영상 향상에 대해 정확히 모델링할 수 있는가?
• RQ2 딥러닝 기반의 영상 향상 네트워크는 저품질 잡음 요인을 억제하면서도 혈관, 시신경두/시신경구와 같은 핵심 해부학적 구조를 효과적으로 보존할 수 있는가?
• RQ3 영상 향상이 혈관 분할 및 시신경두/시신경구 감지와 같은 후속 임상 작업의 성능을 어느 정도 향상시킬 수 있는가?
• RQ4 작은 병적 특징(예: 미세aneurysms, 출혈)이 노이즈나 잡음과 혼동되기 쉬운 점을 감안할 때, 향상된 영상이 이러한 특징의 가시성을 유지할 수 있는가?
• RQ5 일반적인 영상 향상 기법에 비해 제안된 방법은 임상적 관련성과 진단 유용성 측면에서 어떻게 비교되는가?

주요 결과

• 제안된 열화 모델은 실세계 안과 내시경 영상의 열화 요인(불균일한 조도, 흐림, 잡음 등)을 성공적으로 시뮬레이션하여 현실적인 합성 데이터 생성을 가능하게 했다.
• cofe-Net은 보정된 영상에서 혈관 분할 F-score가 0.890을 기록하여 Eilertsen 등 [8] 및 Fu 등 [27]의 최신 기법보다 1.5–2.5% 향상되었다.
• 시신경두/시신경구 감지의 Jaccard 점수는 0.863으로 기준 모델 대비 1.5–2.0% 향상되어 구조적 명료도 향상을 입증했다.
• Kaggle 데이터셋 영상의 병변 수준 분석을 통해 미세aneurysms 및 출혈과 같은 작은 병적 특징이 향상된 영상에서 잘 보존됨을 확인했다.
• 실제 임상 영상에서의 보정 방법은 CE-Net 및 M-Net을 사용한 정확한 분할을 가능하게 하여 시각적 및 정량적 비교에서 성능 향상을 입증했다.
• RSA 및 LQA 모듈은 잡음 억제와 구조 보존 간의 균형을 효과적으로 달성하여 일반적인 향상 네트워크가 종종 임상적 특징을 흐리게 하거나 왜곡시키는 것과는 대비된다.