[논문 리뷰] Learning Enhancement From Degradation: A Diffusion Model For Fundus Image Enhancement

Pujin Cheng, Lin Li외 4명|arXiv (Cornell University)|2023. 03. 08.

Retinal Imaging and Analysis인용 수 7

한 줄 요약

이 논문은 수동으로 설계된 병변 모델에 의존하지 않고 데이터 기반의 열화 과정에서의 향상 기능을 학습하는 새로운 확산 모델인 LED를 제안한다. 고품질 이미지의 분포를 모델링하고 기존의 향상 프레임워크와 통합함으로써, 임상적으로 중요한 특징을 최소한의 정보 수정으로 유지하면서 최신 기술 수준(SOTA)의 성능을 달성한다. 다양한 지표에서 VSD(+10.10), DRA(+1.87), FMSE 감소(-5.11) 등 기존 SOTA 방법을 초월한다.

ABSTRACT

The quality of a fundus image can be compromised by numerous factors, many of which are challenging to be appropriately and mathematically modeled. In this paper, we introduce a novel diffusion model based framework, named Learning Enhancement from Degradation (LED), for enhancing fundus images. Specifically, we first adopt a data-driven degradation framework to learn degradation mappings from unpaired high-quality to low-quality images. We then apply a conditional diffusion model to learn the inverse enhancement process in a paired manner. The proposed LED is able to output enhancement results that maintain clinically important features with better clarity. Moreover, in the inference phase, LED can be easily and effectively integrated with any existing fundus image enhancement framework. We evaluate the proposed LED on several downstream tasks with respect to various clinically-relevant metrics, successfully demonstrating its superiority over existing state-of-the-art methods both quantitatively and qualitatively. The source code is available at https://github.com/QtacierP/LED.

연구 동기 및 목표

• 글라레, 흐림, 낮은 조명 등 모델링하기 어려운 복잡한 열화로 인해 저품질이 되는 망막도자 이미지의 향상 문제 해결
• 쌍방향 학습에서 정보 수정 문제를 겪거나 수동으로 설계된 열화 모델에 의존하는 기존 방법의 한계 극복
• 기존의 어떤 망막도자 이미지 향상 방법과도 호환되는 유연하고 플러그인 방식의 향상 프레임워크 개발
• 혈관 및 시신경두와 같은 질병 특이적 특징을 유지함으로써 임상적 관련성 향상
• 다양한 데이터셋과 후속 작업에서 기준 기반 및 비기준 기반 지표를 모두 사용하여 뛰어난 성능 입증

제안 방법

• 쌍방향으로 제공된 고품질 및 저품질 망막도자 이미지 간의 실제 열화 맵핑을 데이터 기반 열화 모델로 학습
• 쌍방향 열화된 이미지와 고품질 이미지를 사용해 조건부 확산 모델을 훈련시켜 역향상 과정 학습
• 거칠기에서 세밀한 단계로의 프레임워크에 확산 모델 통합: 기본 향상 네트워크가 거친 출력을 생성하고, 이를 확산 모델이 정밀화
• 고품질 이미지를 비노이즈 저품질 이미지를 보조 입력으로 사용해 가우시안 분포에 통합함으로써 매끄럽고 연속적인 향상 구현
• 기존의 열화된 이미지가 실제 저품질 이미지에 더 가까운지 확인하기 위해 사전 학습된 품질 평가 모델 사용하여 훈련 전략의 타당성 입증
• 기존의 모든 향상 프레임워크에 확산 모델을 정밀화 헤드로 적용함으로써 추론 시 통합 가능하도록 설계

실험 결과

연구 질문

• RQ1 데이터 기반 열화 맵핑에 기반해 훈련된 확산 모델이 기존 맹막도자 이미지 향상 방법보다 임상적으로 중요한 특징을 더 잘 보존할 수 있는가?
• RQ2 확산 모델을 통해 고품질 이미지의 분포를 모델링할 경우, GAN 기반 또는 사이클 일致 기반 방법에 비해 정보 수정과 과다 향상이 감소하는가?
• RQ3 제안된 LED 프레임워크가 기존 SOTA 향상 파이프라인에 효과적이고도 민감하게 통합되어 성능 향상을 이끌 수 있는가?
• RQ4 다양한 맹막도자 이미지 데이터셋에서 기준 기반 및 비기준 기반 지표에서 LED 프레임워크가 최신 기술 수준 방법과 비교해 어떻게 성능을 냈는가?
• RQ5 다른 방법들과 비교해 LED가 병변 특이적 특징, 예를 들어 혈관과 시신경두를 얼마나 잘 보존하는가?

주요 결과

• LED는 원본 열화된 이미지 대비 FIQA 지표에서 45.39점 향상되어 시각적 품질 향상이 뚜렷하게 나타남.
• VSD 지표에서 LED는 열화된 기준선 대비 10.10점 향상되어 구조적 세부 정보 보존 능력이 뛰어남.
• 원본 열화된 이미지 대비 LED는 FMSE를 5.11점 감소시켜 보다 높은 충실도와 낮은 왜곡을 보임.
• PCENet와 조합했을 때 LED는 DRA를 24.66점 향상시켜 다질환 데이터셋에서 뛰어난 성능과 병변 탐지 능력 향상을 입증함.
• 혈관 세분화 과정에서 LED로 정밀화된 PCENet 및 I-SECRET의 출력은 더 선명한 혈관 구조와 최소한의 잡음으로, 시각적·정량적 측면에서 기준 방법을 능가함.
• I-SECRET와 LED를 통합했을 때 VSD는 1.70점 향상되고 DRA는 12.14점 향상되어 다양한 향상 파이프라인에서의 효과성 확인됨.